Chất lượng bằng chứng 4.88/5
Điểm đánh giá tám chiều theo tiêu chí chất lượng . Mỗi chiều được chấm từ 1–5.
- D1 Cơ sở nguồn
- 5/5
- D2 Uy tín nguồn
- 5/5
- D3 Tính toán
- 5/5
- D4 Sự không chắc chắn
- 5/5
- D5 Phạm vi
- 5/5
- D6 Văn bản
- 5/5
- D7 Sự trung thực về nhận thức
- 4/5
- D8 Tính đầy đủ của lưu ý
- 5/5
Mức rủi ro thay đổi thế nào
Con số tiêu đề là mức trung bình trên các tình huống rất khác nhau. Dưới đây là cách xác suất thay đổi theo kịch bản hoặc ngữ cảnh:
—
Grace et al. 2024: median 5%, mean 9%, conditional on achieving human-level AI. Between 38-51% of respondents gave ≥10%.
—
10% unconditional over the next century, from The Precipice (2020). Largest single contributor to his overall 1-in-6 existential risk estimate.
—
Hinton: 10-20% chance of extinction within 30 years. Bengio: ~20% for AI existential risk. Both shortened their timelines post-GPT-4.
—
Effectively negligible on relevant timelines. Argue current AI paradigm cannot produce autonomous goal-seeking agents. LeCun calls x-risk debate 'complete B.S.'
—
Bimodal: 77% 'concerned' about AI risk to humanity (YouGov 2024), but only 4% name AI as most likely cause of extinction (Rethink Priorities). Concern conflates job loss, surveillance, and existential scenarios.
Độ dài và sắc độ của thanh xếp hạng các tình huống này so với nhau, không phải so với các rủi ro khác. Xác suất chính xác được hiển thị bên cạnh mỗi mục.
Con số được trích dẫn phổ biến nhất trong các cuộc thảo luận về rủi ro diệt vong từ AI đến từ khảo sát năm 2024 của Grace et al. với 2.778 nhà nghiên cứu đã công bố tại các diễn đàn AI hàng đầu: xác suất trung vị 5% (trung bình 9%) về sự tuyệt chủng của loài người hoặc một thảm họa tương đương, với điều kiện là trí tuệ máy móc đạt đến cấp độ con người được phát triển. Từ 38% đến 51% số người được hỏi đã gán ít nhất 10% khả năng. Riêng biệt, nhà triết học Toby Ord ước tính xác suất vô điều kiện 10% về thảm họa diệt vong từ AI không được căn chỉnh trong thế kỷ này — đây là yếu tố đóng góp lớn nhất vào ước tính tổng thể 1 trên 6 của ông về rủi ro diệt vong từ mọi nguồn. Geoffrey Hinton đưa ra con số 10-20% trong vòng ba mươi năm; Yoshua Bengio là khoảng 20%. Mặt khác, Yann LeCun gọi toàn bộ cuộc tranh luận là “hoàn toàn vô nghĩa,” lập luận rằng các kiến trúc hiện tại thiếu bộ nhớ bền vững, khả năng suy luận nhân quả và các mô hình thế giới vật lý mà việc theo đuổi mục tiêu tự chủ sẽ đòi hỏi. Phạm vi ý kiến chuyên gia — từ gần bằng không đến một phần năm — tự nó là dữ liệu quan trọng nhất.
Khoảng cách nhận thức ở đây là bất thường. Đối với hầu hết các mục trên trang web này, công chúng thường đánh giá quá cao một rủi ro đã được đo lường kỹ lưỡng. Đối với rủi ro diệt vong từ AGI, không có rủi ro nào được đo lường kỹ lưỡng để đánh giá quá cao hay quá thấp. Ý kiến công chúng là lưỡng cực: một khảo sát của YouGov năm 2024 cho thấy 77% người Mỹ “lo ngại” về AI như một rủi ro đối với nhân loại, nhưng một khảo sát của Rethink Priorities lại chỉ ra rằng chỉ 4% coi AI là nguyên nhân có khả năng nhất gây ra sự tuyệt chủng của loài người — chiến tranh hạt nhân dẫn đầu với 42%. Pew Research báo cáo rằng 57% người Mỹ đánh giá rủi ro xã hội của AI là “cao,” nhưng con số này gộp chung việc mất việc làm, thông tin sai lệch và giám sát với các kịch bản tuyệt chủng. Trong khi đó, cộng đồng chuyên gia tập trung quanh một con số trung vị đáng ngạc nhiên và không hề nhỏ — 5% không phải là con số mà hầu hết mọi người sẽ chấp nhận cho bất kỳ nguyên nhân tuyệt chủng nào khác mà không đòi hỏi bằng chứng phi thường. Việc hàng ngàn nhà nghiên cứu xây dựng các hệ thống này gán xác suất đó hoặc là một lời buộc tội gay gắt về quỹ đạo của công nghệ hoặc là một sự phản ánh về mức độ thiếu chính xác của ngay cả các chuyên gia trong lĩnh vực khi dự báo các sự kiện chưa từng có.
Mục này mang cờ no_reliable_estimate vì không có cách nào có thể bảo vệ được để nén các bằng chứng có sẵn thành một xác suất duy nhất trong đời. Sự kiện này không có tỷ lệ cơ bản. Công nghệ được mô tả bởi các kịch bản rủi ro vẫn chưa tồn tại. Các ước tính của chuyên gia là ý kiến — có thông tin, được cân nhắc, được công bố trên các diễn đàn bình duyệt, nhưng dù sao vẫn là ý kiến. Khảo sát của Grace et al. đã bị chỉ trích vì hiệu ứng khung; những người trả lời được tự chọn từ những người sẵn lòng suy đoán về các thảm họa xác suất thấp; và bản chất có điều kiện của câu hỏi (tuyệt chủng nếu có AI cấp độ con người) khiến xác suất vô điều kiện phụ thuộc vào một dự báo thời gian mà bản thân nó kéo dài hàng thập kỷ. Điều có thể nói một cách trung thực: một phần không nhỏ những người hiểu rõ nhất về AI nghĩ rằng có một khả năng không nhỏ nó sẽ kết thúc rất tồi tệ, và một phần có trình độ tương tự lại nghĩ rằng mối lo ngại này là quá sớm đến mức vô lý. Cả hai quan điểm đều được giữ bởi những người đoạt giải Turing. Câu trả lời trung thực là không ai biết, và bất cứ ai nói với bạn điều ngược lại đều đang bán một thứ gì đó — có thể là một công ty khởi nghiệp an toàn AI, có thể là một GPU.
Thông tin liên quan
Ước tính trung vị của chuyên gia về rủi ro AGI thảm khốc: ~5%. Vũ khí hạt nhân chưa được sử dụng trong xung đột 80 năm dù có ~13.000 đầu đạn. Một rủi ro lý thuyết. Cái kia có hồ sơ suýt nữa.
Sổ cái xác nhận
Mỗi con số dưới đây là những gì mỗi nguồn đã báo cáo, cùng với trích dẫn nguyên văn mà chúng tôi dựa vào và cách chúng tôi đưa ra con số của mình. Nhấp vào bất kỳ liên kết nào để xác minh trực tiếp.
2/6 nguồn được xác minh độc lập đúng từng chữ so với nguồn được trích dẫn
-
[1] arXiv (Grace, Stewart, Sandbrink, Thomas, Weinstein-Raun, Brauner) — Thousands of AI Authors on the Future of AI Đã xác minh
Thousands of AI Authors on the Future of AI- Thống kê
Median 5% probability of human extinction or similarly permanent catastrophe from advanced AI; mean 9%; 38-51% of respondents assigned ≥10% probability- Trích đoạn
“"Between 38% and 51% of respondents gave at least a 10% chance to advanced AI leading to outcomes as bad as human extinction." ”
- Dữ liệu nguồn từ
- 2024-01-05
- Truy cập
- 2026-04-19 · bản sao lưu trữ
- Xác minh
- Trích đoạn đã được tải lại độc lập và xác nhận đúng từng chữ so với nguồn được trích dẫn trong quá trình kiểm định căn cứ của chúng tôi.
- Tính toán
- Grace et al. surveyed 2,778 researchers who had published in top-tier AI venues (NeurIPS, ICML, ICLR, AAAI, IJCAI, JMLR). The survey asked for probability estimates of "extremely bad" outcomes (human extinction or equivalent) conditional on the development of human-level machine intelligence. The median response was 5%, the mean 9%. Between 38% and 51% of respondents — depending on question framing — assigned at least a 10% probability. No conversion to an unconditional lifetime probability is attempted here because the conditional (human-level AI existing) is itself deeply uncertain, and multiplying two poorly constrained quantities yields a number that conveys false precision.
- Độc lập
- Largest survey of AI researchers to date. Methodologically independent of Ord's philosophical risk analysis and of public polling. The survey population overlaps with the AI safety research community but also includes many researchers with no prior engagement with existential risk discourse.
-
[2] Bloomsbury Publishing (Toby Ord, Future of Humanity Institute, Oxford) — The Precipice: Existential Risk and the Future of Humanity
The Precipice: Existential Risk and the Future of Humanity- Thống kê
1 in 10 (10%) existential risk from unaligned AI this century — the largest single contributor to Ord's overall 1-in-6 existential risk estimate- Trích đoạn
“"I put the existential risk from unaligned artificial intelligence at around 1 in 10 over the next hundred years. This is higher than all other sources of existential risk I consider, combined." ”
- Dữ liệu nguồn từ
- 2020-03-06
- Truy cập
- 2026-04-19 · bản sao lưu trữ
- Tính toán
- Ord's 10% figure is a subjective probability estimate informed by consultation with AI researchers, historical precedent in technology governance, and analysis of alignment failure modes. It is explicitly not an empirical measurement — it is the considered judgment of a moral philosopher specializing in existential risk. Ord estimates total existential risk this century at ~1 in 6 (17%), with AI contributing 10 percentage points, engineered pandemics ~3%, and other sources (nuclear, climate, asteroid, supervolcano) contributing the remainder. The 10% figure is unconditional on AGI development — it bakes in Ord's timeline uncertainty about when or whether such systems will be built.
- Độc lập
- Ord's framework is a philosophical risk analysis drawing on the broader Future of Humanity Institute research program. Independent methodology from the Grace et al. survey, though Ord cites earlier versions of the same survey (2016 edition) as one input among many.
-
[3] Pew Research Center — How the US Public and AI Experts View Artificial Intelligence
How the US Public and AI Experts View Artificial Intelligence- Thống kê
50% of Americans are more concerned than excited about AI's increased role in daily life (up from 37% in 2021); 57% rate the risks to society as 'high'- Trích đoạn
“"A majority of Americans (57%) rate the risks of AI for society as high, with far fewer seeing high benefits." ”
- Dữ liệu nguồn từ
- 2025-04-03
- Truy cập
- 2026-04-19 · bản sao lưu trữ
- Tính toán
- Pew's 2025 survey tracks general AI concern, not existential risk specifically. The 57% "high risk" figure conflates near-term harms (job loss, misinformation, surveillance) with extinction-level scenarios. A separate YouGov survey (December 2024) found 77% "concerned" about AI as a "risk to humanity," with 39% "very concerned." These figures are included to document the public perception landscape, but they cannot be compared directly to the Grace et al. conditional extinction probability because they measure different constructs. The bimodal pattern — high general concern, low salience of extinction specifically (only 4% name AI as the most likely cause of extinction per Rethink Priorities) — is itself the key finding for the perception-gap framing.
- Độc lập
- Pew Research Center is an independent nonpartisan research organization. Its methodology (nationally representative probability sampling) is fully independent of the AI researcher survey and of Ord's philosophical analysis.
-
[4] TechCrunch — Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'
Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'- Thống kê
LeCun argues current AI systems lack key capabilities (persistent memory, reasoning, planning, physical-world understanding) and dismisses AI's existential threat as 'complete B.S.'- Trích đoạn
“"You're going to have to pardon my French, but that's complete B.S." LeCun argued that today's large language models lack some key cat-level capabilities, like persistent memory, reasoning, planning, and an understanding of the physical world. ”
- Dữ liệu nguồn từ
- 2024-10-12
- Truy cập
- 2026-04-19 · bản sao lưu trữ
- Tính toán
- LeCun (Turing Award 2018, Chief AI Scientist at Meta) and Andrew Ng (Stanford, Coursera co-founder) represent the most prominent skeptical position among credentialed AI researchers. Their argument is architectural: current LLMs "manipulate language" without genuine understanding, lack persistent memory and causal reasoning, and are fundamentally incapable of the autonomous goal-pursuit that x-risk scenarios require. LeCun's blanket dismissal of the existential-threat worry as "complete B.S." is contested — the Grace et al. survey shows a median 5% extinction probability, which is not "zero." The disagreement is partly empirical (what current systems can do) and partly about extrapolation (whether scaling or architectural breakthroughs will produce qualitatively different capabilities). No probability estimate is extracted from the skeptical position because it is framed as a categorical rejection of the premise rather than a quantified risk.
- Độc lập
- News reporting of LeCun's public statements. Represents a distinct intellectual position from both the Grace et al. survey respondents (who gave non-zero medians) and Ord's philosophical analysis.
-
[5] Forbes, relaying a December 2024 Guardian report on Hinton's BBC Radio 4 Today programme interview — Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI
Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI- Thống kê
Geoffrey Hinton (2018 Turing Award; 2024 Nobel Prize in Physics) raised his estimate of AI-caused human extinction within 30 years to a 10-20% range, up from an earlier standalone 10% estimate- Trích đoạn
“"Geoffrey Hinton, often referred to as one of the 'godfathers' of artificial intelligence, believes there is a 10% to 20% chance that AI could drive humanity to extinction within 30 years." Speaking on BBC Radio 4, Hinton said: "we've never had to deal with things more intelligent than ourselves before." ”
- Dữ liệu nguồn từ
- 2024-12-29
- Truy cập
- 2026-07-01 · bản sao lưu trữ
- Tính toán
- Hinton gave a standalone 10% catastrophic-outcome estimate in earlier 2024 interviews; in a December 2024 BBC Radio 4 interview (first reported by The Guardian, relayed here via Forbes) he raised it to a 10-20% range for AI causing human extinction within 30 years. Cited solely to source the regional_breakdown "Hinton & Bengio estimates" row and the body-text expert-range claim; the entry's no_reliable_estimate framing continues to rest on Grace et al. and Ord, not on this single-individual estimate.
- Độc lập
- News relay of a broadcast interview — a single named individual's stated view, methodologically comparable to the LeCun source above on the skeptical side rather than a systematic survey or philosophical analysis.
-
[6] arXiv preprint — An International Agreement to Prevent the Premature Creation of Artificial Superintelligence Đã xác minh
An International Agreement to Prevent the Premature Creation of Artificial Superintelligence- Thống kê
Documents Yoshua Bengio's publicly stated estimate of roughly a 20% probability that advanced AI development turns out catastrophic- Trích đoạn
“"Yoshua Bengio, a Turing Award recipient and the most cited living scientist, said he thinks there is a 'twenty percent probability that it turns out catastrophic'" ”
- Dữ liệu nguồn từ
- 2025-11-01
- Truy cập
- 2026-07-01 · bản sao lưu trữ
- Xác minh
- Trích đoạn đã được tải lại độc lập và xác nhận đúng từng chữ so với nguồn được trích dẫn trong quá trình kiểm định căn cứ của chúng tôi.
- Tính toán
- Bengio has not published one definitive percentage in his own formal writing — his blog FAQ on catastrophic AI risks instead proposes a compound formula whose component probabilities he says should be set by expert polling, and his recorded talks describe capability timelines rather than a single risk probability. The ~20% figure attributed to him is nonetheless widely and consistently reported; this arXiv paper is cited because it documents the specific figure in a dated, citable context. Used solely to source the regional_breakdown "Hinton & Bengio estimates" row and the body-text expert-range claim.
- Độc lập
- Secondary academic documentation of a public statement rather than a primary interview transcript or Bengio's own published writing. Direct checks of Bengio's own blog, a TED talk transcript, and an OECD.AI incident summary did not turn up a first-party statement of this exact figure, though the ~20% number recurs consistently across independent secondary sources.