証拠の質 4.88/5
8次元のレビュー評価。基準は 品質ルーブリック 。各次元は1〜5で評価。
- D1 出典への根拠
- 5/5
- D2 出典の権威性
- 5/5
- D3 算術
- 5/5
- D4 不確実性
- 5/5
- D5 範囲
- 5/5
- D6 文章
- 5/5
- D7 認識の誠実性
- 4/5
- D8 注意事項の完全性
- 5/5
リスクはどう変わるか
見出しの数値は大きく異なる状況の平均です。シナリオや文脈による確率の違いは以下の通りです:
—
Grace et al. 2024: median 5%, mean 9%, conditional on achieving human-level AI. Between 38-51% of respondents gave ≥10%.
—
10% unconditional over the next century, from The Precipice (2020). Largest single contributor to his overall 1-in-6 existential risk estimate.
—
Hinton: 10-20% chance of extinction within 30 years. Bengio: ~20% for AI existential risk. Both shortened their timelines post-GPT-4.
—
Effectively negligible on relevant timelines. Argue current AI paradigm cannot produce autonomous goal-seeking agents. LeCun calls x-risk debate 'complete B.S.'
—
Bimodal: 77% 'concerned' about AI risk to humanity (YouGov 2024), but only 4% name AI as most likely cause of extinction (Rethink Priorities). Concern conflates job loss, surveillance, and existential scenarios.
バーの長さと濃淡は、これらのシナリオを他のリスクとではなく、互いに比較して順位付けしたものです。正確な確率は各項目の横に表示されています。
AIの存亡リスクに関する議論で最もよく引用される数字は、Grace et al.による2024年の調査で、一流のAI学会誌に論文を発表した2,778人の研究者を対象としたものです。その調査によると、人間レベルの機械知能が開発された場合を条件として、人類の絶滅またはそれに相当する破局が起こる確率は中央値で5%(平均9%)でした。回答者の38%から51%が、少なくとも10%の確率を割り当てています。別に、哲学者Toby Ordは、今世紀中にアラインされていないAIによる存亡の危機が起こる無条件確率を10%と推定しています。これは、あらゆる原因による存亡リスクの全体的な1/6という彼の推定の中で、最大の要因です。Geoffrey Hintonはこの数字を30年以内に10-20%、Yoshua Bengioはおよそ**20%**としています。その一方で、Yann LeCunはこの議論全体を「全くのナンセンス」と呼び、現在のアーキテクチャには、自律的な目標追求に必要な永続的な記憶、因果推論、物理世界のモデルが欠けていると主張しています。専門家の意見の幅(およそゼロから5分の1まで)自体が、最も重要なデータです。
ここでの認識のギャップは異例です。このサイトのほとんどのエントリーでは、一般の人々は十分に測定されたリスクを過大評価しています。AGIの存亡リスクについては、過大評価も過小評価もできるような十分に測定されたリスクは存在しません。世論は二極化しています。2024年のYouGovの調査では、アメリカ人の77%がAIを人類へのリスクとして「懸念している」と回答しましたが、Rethink Prioritiesの調査では、AIを人類絶滅の最も可能性の高い原因として挙げたのはわずか4%でした。核戦争が42%でトップでした。Pew Researchの報告によると、アメリカ人の57%がAIの社会リスクを「高い」と評価していますが、この数字は雇用の喪失、誤情報、監視といった問題と絶滅シナリオを混同しています。一方、専門家コミュニティは驚くほど無視できない中央値に集まっています。5%という数字は、他のいかなる絶滅の原因に対しても、ほとんどの人が並外れた証拠を要求せずに受け入れるようなものではありません。これらのシステムを構築する何千人もの研究者がその確率を割り当てているという事実は、テクノロジーの軌道に対する厳しい非難であるか、あるいは前例のない出来事を予測する際に、分野の専門家でさえどれほど不正確であるかの反映であるかのどちらかです。
このエントリーにはno_reliable_estimateフラグが付いています。利用可能な証拠を単一の生涯確率に圧縮する、擁護可能な方法がないためです。この出来事にはベースレートがありません。リスクシナリオで記述されているテクノロジーはまだ存在しません。専門家の推定は意見です。情報に基づき、検討され、査読付きの場所で発表されていますが、それでも意見に過ぎません。Grace et al.の調査はフレーミング効果で批判されており、回答者は低確率の破局について推測することに意欲的な人々の中から自己選択されています。また、質問の条件付きの性質(人間レベルのAIが与えられた場合の絶滅)により、無条件確率はそれ自体が数十年にも及ぶタイムライン予測に依存しています。正直に言えることは次のとおりです。AIを最もよく理解している人々のかなりの割合が、非常に悪い結果になる可能性が無視できないと考えており、同様に資格のある人々のかなりの割合が、その懸念はばかげているほど時期尚早だと考えています。どちらの立場もチューリング賞受賞者によって支持されています。正直な答えは、誰も知らないということです。そうでないと主張する人は、何かを売ろうとしています。おそらくAI安全スタートアップか、あるいはGPUでしょう。
関連する豆知識
専門家の中央値で壊滅的AGIリスクは約5%。核兵器は約13,000発がありながら80年間紛争で使用されていない。一方は理論上のリスク。もう一方にはニアミスの実績がある。
根拠台帳
以下の各数値は各出典が報告した内容であり、引用した原文の抜粋と算出方法を記載しています。リンクをクリックして直接確認できます。
2/6 件の出典が引用元と一字一句一致することを独立して検証済み
-
[1] arXiv (Grace, Stewart, Sandbrink, Thomas, Weinstein-Raun, Brauner) — Thousands of AI Authors on the Future of AI 検証済み
Thousands of AI Authors on the Future of AI- 統計値
Median 5% probability of human extinction or similarly permanent catastrophe from advanced AI; mean 9%; 38-51% of respondents assigned ≥10% probability- 抜粋
“"Between 38% and 51% of respondents gave at least a 10% chance to advanced AI leading to outcomes as bad as human extinction." ”
- 出典データ
- 2024-01-05
- アクセス日
- 2026-04-19 · アーカイブ版
- 検証
- グラウンディング監査の際、抜粋を引用元から独立して再取得し、原文と一字一句一致することを確認しました。
- 計算過程
- Grace et al. surveyed 2,778 researchers who had published in top-tier AI venues (NeurIPS, ICML, ICLR, AAAI, IJCAI, JMLR). The survey asked for probability estimates of "extremely bad" outcomes (human extinction or equivalent) conditional on the development of human-level machine intelligence. The median response was 5%, the mean 9%. Between 38% and 51% of respondents — depending on question framing — assigned at least a 10% probability. No conversion to an unconditional lifetime probability is attempted here because the conditional (human-level AI existing) is itself deeply uncertain, and multiplying two poorly constrained quantities yields a number that conveys false precision.
- 独立性
- Largest survey of AI researchers to date. Methodologically independent of Ord's philosophical risk analysis and of public polling. The survey population overlaps with the AI safety research community but also includes many researchers with no prior engagement with existential risk discourse.
-
[2] Bloomsbury Publishing (Toby Ord, Future of Humanity Institute, Oxford) — The Precipice: Existential Risk and the Future of Humanity
The Precipice: Existential Risk and the Future of Humanity- 統計値
1 in 10 (10%) existential risk from unaligned AI this century — the largest single contributor to Ord's overall 1-in-6 existential risk estimate- 抜粋
“"I put the existential risk from unaligned artificial intelligence at around 1 in 10 over the next hundred years. This is higher than all other sources of existential risk I consider, combined." ”
- 出典データ
- 2020-03-06
- アクセス日
- 2026-04-19 · アーカイブ版
- 計算過程
- Ord's 10% figure is a subjective probability estimate informed by consultation with AI researchers, historical precedent in technology governance, and analysis of alignment failure modes. It is explicitly not an empirical measurement — it is the considered judgment of a moral philosopher specializing in existential risk. Ord estimates total existential risk this century at ~1 in 6 (17%), with AI contributing 10 percentage points, engineered pandemics ~3%, and other sources (nuclear, climate, asteroid, supervolcano) contributing the remainder. The 10% figure is unconditional on AGI development — it bakes in Ord's timeline uncertainty about when or whether such systems will be built.
- 独立性
- Ord's framework is a philosophical risk analysis drawing on the broader Future of Humanity Institute research program. Independent methodology from the Grace et al. survey, though Ord cites earlier versions of the same survey (2016 edition) as one input among many.
-
[3] Pew Research Center — How the US Public and AI Experts View Artificial Intelligence
How the US Public and AI Experts View Artificial Intelligence- 統計値
50% of Americans are more concerned than excited about AI's increased role in daily life (up from 37% in 2021); 57% rate the risks to society as 'high'- 抜粋
“"A majority of Americans (57%) rate the risks of AI for society as high, with far fewer seeing high benefits." ”
- 出典データ
- 2025-04-03
- アクセス日
- 2026-04-19 · アーカイブ版
- 計算過程
- Pew's 2025 survey tracks general AI concern, not existential risk specifically. The 57% "high risk" figure conflates near-term harms (job loss, misinformation, surveillance) with extinction-level scenarios. A separate YouGov survey (December 2024) found 77% "concerned" about AI as a "risk to humanity," with 39% "very concerned." These figures are included to document the public perception landscape, but they cannot be compared directly to the Grace et al. conditional extinction probability because they measure different constructs. The bimodal pattern — high general concern, low salience of extinction specifically (only 4% name AI as the most likely cause of extinction per Rethink Priorities) — is itself the key finding for the perception-gap framing.
- 独立性
- Pew Research Center is an independent nonpartisan research organization. Its methodology (nationally representative probability sampling) is fully independent of the AI researcher survey and of Ord's philosophical analysis.
-
[4] TechCrunch — Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'
Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'- 統計値
LeCun argues current AI systems lack key capabilities (persistent memory, reasoning, planning, physical-world understanding) and dismisses AI's existential threat as 'complete B.S.'- 抜粋
“"You're going to have to pardon my French, but that's complete B.S." LeCun argued that today's large language models lack some key cat-level capabilities, like persistent memory, reasoning, planning, and an understanding of the physical world. ”
- 出典データ
- 2024-10-12
- アクセス日
- 2026-04-19 · アーカイブ版
- 計算過程
- LeCun (Turing Award 2018, Chief AI Scientist at Meta) and Andrew Ng (Stanford, Coursera co-founder) represent the most prominent skeptical position among credentialed AI researchers. Their argument is architectural: current LLMs "manipulate language" without genuine understanding, lack persistent memory and causal reasoning, and are fundamentally incapable of the autonomous goal-pursuit that x-risk scenarios require. LeCun's blanket dismissal of the existential-threat worry as "complete B.S." is contested — the Grace et al. survey shows a median 5% extinction probability, which is not "zero." The disagreement is partly empirical (what current systems can do) and partly about extrapolation (whether scaling or architectural breakthroughs will produce qualitatively different capabilities). No probability estimate is extracted from the skeptical position because it is framed as a categorical rejection of the premise rather than a quantified risk.
- 独立性
- News reporting of LeCun's public statements. Represents a distinct intellectual position from both the Grace et al. survey respondents (who gave non-zero medians) and Ord's philosophical analysis.
-
[5] Forbes, relaying a December 2024 Guardian report on Hinton's BBC Radio 4 Today programme interview — Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI
Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI- 統計値
Geoffrey Hinton (2018 Turing Award; 2024 Nobel Prize in Physics) raised his estimate of AI-caused human extinction within 30 years to a 10-20% range, up from an earlier standalone 10% estimate- 抜粋
“"Geoffrey Hinton, often referred to as one of the 'godfathers' of artificial intelligence, believes there is a 10% to 20% chance that AI could drive humanity to extinction within 30 years." Speaking on BBC Radio 4, Hinton said: "we've never had to deal with things more intelligent than ourselves before." ”
- 出典データ
- 2024-12-29
- アクセス日
- 2026-07-01 · アーカイブ版
- 計算過程
- Hinton gave a standalone 10% catastrophic-outcome estimate in earlier 2024 interviews; in a December 2024 BBC Radio 4 interview (first reported by The Guardian, relayed here via Forbes) he raised it to a 10-20% range for AI causing human extinction within 30 years. Cited solely to source the regional_breakdown "Hinton & Bengio estimates" row and the body-text expert-range claim; the entry's no_reliable_estimate framing continues to rest on Grace et al. and Ord, not on this single-individual estimate.
- 独立性
- News relay of a broadcast interview — a single named individual's stated view, methodologically comparable to the LeCun source above on the skeptical side rather than a systematic survey or philosophical analysis.
-
[6] arXiv preprint — An International Agreement to Prevent the Premature Creation of Artificial Superintelligence 検証済み
An International Agreement to Prevent the Premature Creation of Artificial Superintelligence- 統計値
Documents Yoshua Bengio's publicly stated estimate of roughly a 20% probability that advanced AI development turns out catastrophic- 抜粋
“"Yoshua Bengio, a Turing Award recipient and the most cited living scientist, said he thinks there is a 'twenty percent probability that it turns out catastrophic'" ”
- 出典データ
- 2025-11-01
- アクセス日
- 2026-07-01 · アーカイブ版
- 検証
- グラウンディング監査の際、抜粋を引用元から独立して再取得し、原文と一字一句一致することを確認しました。
- 計算過程
- Bengio has not published one definitive percentage in his own formal writing — his blog FAQ on catastrophic AI risks instead proposes a compound formula whose component probabilities he says should be set by expert polling, and his recorded talks describe capability timelines rather than a single risk probability. The ~20% figure attributed to him is nonetheless widely and consistently reported; this arXiv paper is cited because it documents the specific figure in a dated, citable context. Used solely to source the regional_breakdown "Hinton & Bengio estimates" row and the body-text expert-range claim.
- 独立性
- Secondary academic documentation of a public statement rather than a primary interview transcript or Bengio's own published writing. Direct checks of Bengio's own blog, a TED talk transcript, and an OECD.AI incident summary did not turn up a first-party statement of this exact figure, though the ~20% number recurs consistently across independent secondary sources.