Якість доказів 4.88/5
Восьмивимірна оцінка перевірки за рубрикою якості . Кожен вимір оцінений 1–5.
- D1 Прив’язка до джерел
- 5/5
- D2 Авторитет джерела
- 5/5
- D3 Арифметика
- 5/5
- D4 Невизначеність
- 5/5
- D5 Сфера
- 5/5
- D6 Проза
- 5/5
- D7 Чесність сприйняття
- 4/5
- D8 Повнота застережень
- 5/5
Як змінюється ризик
Заголовна цифра усереднює дуже різні ситуації. Ось як ймовірність варіюється залежно від сценарію чи контексту:
—
Grace et al. 2024: median 5%, mean 9%, conditional on achieving human-level AI. Between 38-51% of respondents gave ≥10%.
—
10% unconditional over the next century, from The Precipice (2020). Largest single contributor to his overall 1-in-6 existential risk estimate.
—
Hinton: 10-20% chance of extinction within 30 years. Bengio: ~20% for AI existential risk. Both shortened their timelines post-GPT-4.
—
Effectively negligible on relevant timelines. Argue current AI paradigm cannot produce autonomous goal-seeking agents. LeCun calls x-risk debate 'complete B.S.'
—
Bimodal: 77% 'concerned' about AI risk to humanity (YouGov 2024), but only 4% name AI as most likely cause of extinction (Rethink Priorities). Concern conflates job loss, surveillance, and existential scenarios.
Довжина та відтінок смуги ранжують ці сценарії один відносно одного, а не відносно інших ризиків. Точні шанси вказані поряд із кожним.
Найчастіше цитована цифра в дискурсі про екзистенційний ризик ШІ походить з опитування Grace et al. 2024 року, проведеного серед 2778 дослідників, які публікувалися у провідних виданнях з ШІ: медіанна ймовірність 5% (середнє значення 9%) вимирання людства або еквівалентної катастрофи, за умови розвитку машинного інтелекту людського рівня. Від 38% до 51% респондентів оцінили ймовірність щонайменше у 10%. Окремо філософ Тобі Орд оцінив 10% безумовну ймовірність екзистенційної катастрофи від невідповідного ШІ цього століття — це найбільший внесок у його загальну оцінку екзистенційного ризику з усіх джерел у 1 до 6. Джеффрі Хінтон називає цифру 10-20% протягом тридцяти років; Йошуа Бенджіо — приблизно 20%. З іншого боку, Ян ЛеКун називає всю дискусію «повною нісенітницею», стверджуючи, що сучасні архітектури не мають постійної пам’яті, причинно-наслідкового мислення та моделей фізичного світу, які були б необхідні для автономного досягнення цілей. Діапазон експертних думок — від приблизно нуля до одного з п’яти — сам по собі є найважливішим даним.
Розрив у сприйнятті тут незвичайний. Для більшості записів на цьому сайті громадськість переоцінює добре виміряний ризик. Щодо екзистенційного ризику ШЗІ, немає добре виміряного ризику, який можна було б переоцінити чи недооцінити. Громадська думка бімодальна: опитування YouGov 2024 року показало, що 77% американців «стурбовані» ШІ як ризиком для людства, проте опитування Rethink Priorities виявило, що лише 4% назвали ШІ найімовірнішою причиною вимирання людства — ядерна війна лідирувала з 42%. Pew Research повідомляє, що 57% американців оцінюють суспільні ризики ШІ як «високі», але ця цифра поєднує витіснення робочих місць, дезінформацію та спостереження зі сценаріями вимирання. Тим часом експертна спільнота групується навколо напрочуд нетривіальної медіани — 5% не є числом, яке більшість людей прийняли б для будь-якої іншої причини вимирання, не вимагаючи надзвичайних доказів. Той факт, що тисячі дослідників, які створюють ці системи, приписують таку ймовірність, є або нищівним звинуваченням траєкторії розвитку технології, або відображенням того, наскільки погано калібровані навіть експерти в галузі при прогнозуванні безпрецедентних подій.
Цей запис має позначку no_reliable_estimate, оскільки немає обґрунтованого способу стиснути наявні докази в єдину ймовірність протягом життя. Подія не має базової частоти. Технологія, описана в сценаріях ризику, ще не існує. Експертні оцінки є думками — поінформованими, обдуманими, опублікованими в рецензованих виданнях, але все ж думками. Опитування Grace et al. критикували за ефекти фреймінгу; респонденти є самовідібраними з тих, хто бажає спекулювати про малоймовірні катастрофи; а умовний характер питання (вимирання за умови ШІ людського рівня) робить безумовну ймовірність залежною від прогнозу часових рамок, який сам охоплює десятиліття. Що можна сказати чесно: нетривіальна частина людей, які найкраще розуміють ШІ, вважає, що існує нетривіальний шанс, що все закінчиться дуже погано, і так само кваліфікована частина вважає, що занепокоєння є передчасним до абсурду. Обидві позиції підтримуються лауреатами премії Тюрінга. Чесна відповідь полягає в тому, що ніхто не знає, і кожен, хто говорить вам інше, щось продає — можливо, стартап з безпеки ШІ, можливо, графічний процесор.
Пов’язані факти
Медіанна експертна оцінка катастрофічного ризику AGI: ~5%. Ядерна зброя не застосовувалася в конфліктах 80 років при ~13 000 боєголовках. Один ризик теоретичний. Інший має історію інцидентів на межі.
Реєстр тверджень
Кожне число нижче — це те, що повідомило джерело, з дослівною цитатою, на яку ми спиралися, та тим, як ми дійшли до нашої цифри. Натисніть на посилання, щоб перевірити самостійно.
2/6 джерел незалежно перевірено дослівно за вказаним джерелом
-
[1] arXiv (Grace, Stewart, Sandbrink, Thomas, Weinstein-Raun, Brauner) — Thousands of AI Authors on the Future of AI Перевірено
Thousands of AI Authors on the Future of AI- Статистика
Median 5% probability of human extinction or similarly permanent catastrophe from advanced AI; mean 9%; 38-51% of respondents assigned ≥10% probability- Витяг
“"Between 38% and 51% of respondents gave at least a 10% chance to advanced AI leading to outcomes as bad as human extinction." ”
- Дані джерела:
- 2024-01-05
- Дата звернення
- 2026-04-19 · архівна копія
- Перевірка
- Витяг незалежно повторно отримано та дослівно підтверджено за вказаним джерелом під час нашого аудиту обґрунтованості.
- Розрахунок
- Grace et al. surveyed 2,778 researchers who had published in top-tier AI venues (NeurIPS, ICML, ICLR, AAAI, IJCAI, JMLR). The survey asked for probability estimates of "extremely bad" outcomes (human extinction or equivalent) conditional on the development of human-level machine intelligence. The median response was 5%, the mean 9%. Between 38% and 51% of respondents — depending on question framing — assigned at least a 10% probability. No conversion to an unconditional lifetime probability is attempted here because the conditional (human-level AI existing) is itself deeply uncertain, and multiplying two poorly constrained quantities yields a number that conveys false precision.
- Незалежність
- Largest survey of AI researchers to date. Methodologically independent of Ord's philosophical risk analysis and of public polling. The survey population overlaps with the AI safety research community but also includes many researchers with no prior engagement with existential risk discourse.
-
[2] Bloomsbury Publishing (Toby Ord, Future of Humanity Institute, Oxford) — The Precipice: Existential Risk and the Future of Humanity
The Precipice: Existential Risk and the Future of Humanity- Статистика
1 in 10 (10%) existential risk from unaligned AI this century — the largest single contributor to Ord's overall 1-in-6 existential risk estimate- Витяг
“"I put the existential risk from unaligned artificial intelligence at around 1 in 10 over the next hundred years. This is higher than all other sources of existential risk I consider, combined." ”
- Дані джерела:
- 2020-03-06
- Дата звернення
- 2026-04-19 · архівна копія
- Розрахунок
- Ord's 10% figure is a subjective probability estimate informed by consultation with AI researchers, historical precedent in technology governance, and analysis of alignment failure modes. It is explicitly not an empirical measurement — it is the considered judgment of a moral philosopher specializing in existential risk. Ord estimates total existential risk this century at ~1 in 6 (17%), with AI contributing 10 percentage points, engineered pandemics ~3%, and other sources (nuclear, climate, asteroid, supervolcano) contributing the remainder. The 10% figure is unconditional on AGI development — it bakes in Ord's timeline uncertainty about when or whether such systems will be built.
- Незалежність
- Ord's framework is a philosophical risk analysis drawing on the broader Future of Humanity Institute research program. Independent methodology from the Grace et al. survey, though Ord cites earlier versions of the same survey (2016 edition) as one input among many.
-
[3] Pew Research Center — How the US Public and AI Experts View Artificial Intelligence
How the US Public and AI Experts View Artificial Intelligence- Статистика
50% of Americans are more concerned than excited about AI's increased role in daily life (up from 37% in 2021); 57% rate the risks to society as 'high'- Витяг
“"A majority of Americans (57%) rate the risks of AI for society as high, with far fewer seeing high benefits." ”
- Дані джерела:
- 2025-04-03
- Дата звернення
- 2026-04-19 · архівна копія
- Розрахунок
- Pew's 2025 survey tracks general AI concern, not existential risk specifically. The 57% "high risk" figure conflates near-term harms (job loss, misinformation, surveillance) with extinction-level scenarios. A separate YouGov survey (December 2024) found 77% "concerned" about AI as a "risk to humanity," with 39% "very concerned." These figures are included to document the public perception landscape, but they cannot be compared directly to the Grace et al. conditional extinction probability because they measure different constructs. The bimodal pattern — high general concern, low salience of extinction specifically (only 4% name AI as the most likely cause of extinction per Rethink Priorities) — is itself the key finding for the perception-gap framing.
- Незалежність
- Pew Research Center is an independent nonpartisan research organization. Its methodology (nationally representative probability sampling) is fully independent of the AI researcher survey and of Ord's philosophical analysis.
-
[4] TechCrunch — Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'
Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'- Статистика
LeCun argues current AI systems lack key capabilities (persistent memory, reasoning, planning, physical-world understanding) and dismisses AI's existential threat as 'complete B.S.'- Витяг
“"You're going to have to pardon my French, but that's complete B.S." LeCun argued that today's large language models lack some key cat-level capabilities, like persistent memory, reasoning, planning, and an understanding of the physical world. ”
- Дані джерела:
- 2024-10-12
- Дата звернення
- 2026-04-19 · архівна копія
- Розрахунок
- LeCun (Turing Award 2018, Chief AI Scientist at Meta) and Andrew Ng (Stanford, Coursera co-founder) represent the most prominent skeptical position among credentialed AI researchers. Their argument is architectural: current LLMs "manipulate language" without genuine understanding, lack persistent memory and causal reasoning, and are fundamentally incapable of the autonomous goal-pursuit that x-risk scenarios require. LeCun's blanket dismissal of the existential-threat worry as "complete B.S." is contested — the Grace et al. survey shows a median 5% extinction probability, which is not "zero." The disagreement is partly empirical (what current systems can do) and partly about extrapolation (whether scaling or architectural breakthroughs will produce qualitatively different capabilities). No probability estimate is extracted from the skeptical position because it is framed as a categorical rejection of the premise rather than a quantified risk.
- Незалежність
- News reporting of LeCun's public statements. Represents a distinct intellectual position from both the Grace et al. survey respondents (who gave non-zero medians) and Ord's philosophical analysis.
-
[5] Forbes, relaying a December 2024 Guardian report on Hinton's BBC Radio 4 Today programme interview — Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI
Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI- Статистика
Geoffrey Hinton (2018 Turing Award; 2024 Nobel Prize in Physics) raised his estimate of AI-caused human extinction within 30 years to a 10-20% range, up from an earlier standalone 10% estimate- Витяг
“"Geoffrey Hinton, often referred to as one of the 'godfathers' of artificial intelligence, believes there is a 10% to 20% chance that AI could drive humanity to extinction within 30 years." Speaking on BBC Radio 4, Hinton said: "we've never had to deal with things more intelligent than ourselves before." ”
- Дані джерела:
- 2024-12-29
- Дата звернення
- 2026-07-01 · архівна копія
- Розрахунок
- Hinton gave a standalone 10% catastrophic-outcome estimate in earlier 2024 interviews; in a December 2024 BBC Radio 4 interview (first reported by The Guardian, relayed here via Forbes) he raised it to a 10-20% range for AI causing human extinction within 30 years. Cited solely to source the regional_breakdown "Hinton & Bengio estimates" row and the body-text expert-range claim; the entry's no_reliable_estimate framing continues to rest on Grace et al. and Ord, not on this single-individual estimate.
- Незалежність
- News relay of a broadcast interview — a single named individual's stated view, methodologically comparable to the LeCun source above on the skeptical side rather than a systematic survey or philosophical analysis.
-
[6] arXiv preprint — An International Agreement to Prevent the Premature Creation of Artificial Superintelligence Перевірено
An International Agreement to Prevent the Premature Creation of Artificial Superintelligence- Статистика
Documents Yoshua Bengio's publicly stated estimate of roughly a 20% probability that advanced AI development turns out catastrophic- Витяг
“"Yoshua Bengio, a Turing Award recipient and the most cited living scientist, said he thinks there is a 'twenty percent probability that it turns out catastrophic'" ”
- Дані джерела:
- 2025-11-01
- Дата звернення
- 2026-07-01 · архівна копія
- Перевірка
- Витяг незалежно повторно отримано та дослівно підтверджено за вказаним джерелом під час нашого аудиту обґрунтованості.
- Розрахунок
- Bengio has not published one definitive percentage in his own formal writing — his blog FAQ on catastrophic AI risks instead proposes a compound formula whose component probabilities he says should be set by expert polling, and his recorded talks describe capability timelines rather than a single risk probability. The ~20% figure attributed to him is nonetheless widely and consistently reported; this arXiv paper is cited because it documents the specific figure in a dated, citable context. Used solely to source the regional_breakdown "Hinton & Bengio estimates" row and the body-text expert-range claim.
- Незалежність
- Secondary academic documentation of a public statement rather than a primary interview transcript or Bengio's own published writing. Direct checks of Bengio's own blog, a TED talk transcript, and an OECD.AI incident summary did not turn up a first-party statement of this exact figure, though the ~20% number recurs consistently across independent secondary sources.