Jakość dowodów 4.88/5
Ocena recenzji w ośmiu wymiarach względem rubryki jakości . Każdy wymiar oceniony w skali 1–5.
- D1 Zakotwiczenie w źródłach
- 5/5
- D2 Autorytet źródeł
- 5/5
- D3 Arytmetyka
- 5/5
- D4 Niepewność
- 5/5
- D5 Zakres
- 5/5
- D6 Tekst
- 5/5
- D7 Uczciwość co do percepcji
- 4/5
- D8 Kompletność zastrzeżeń
- 5/5
Jak zmienia się ryzyko
Główna wartość uśrednia bardzo różne sytuacje. Oto jak prawdopodobieństwo zmienia się w zależności od scenariusza lub kontekstu:
—
Grace i wsp. 2024: mediana 5%, średnia 9%, przy założeniu osiągnięcia AI na poziomie ludzkim. Od 38 do 51% respondentów podało ≥10%.
—
10% bezwarunkowo w ciągu najbliższego stulecia, z The Precipice (2020). Największy pojedynczy składnik jego ogólnego szacunku ryzyka egzystencjalnego, który wynosi 1 na 6.
—
Hinton: 10–20% szans na wyginięcie w ciągu 30 lat. Bengio: ~20% dla ryzyka egzystencjalnego ze strony AI. Obaj skrócili swoje prognozy czasowe po GPT-4.
—
W praktyce pomijalne w istotnych horyzontach czasowych. Twierdzą, że obecny paradygmat AI nie może wytworzyć autonomicznych agentów dążących do celów. LeCun nazywa debatę o ryzyku egzystencjalnym „complete B.S.”.
—
Rozkład dwumodalny: 77% jest „zaniepokojonych” ryzykiem AI dla ludzkości (YouGov 2024), ale tylko 4% wskazuje AI jako najbardziej prawdopodobną przyczynę wyginięcia (Rethink Priorities). Niepokój łączy utratę pracy, inwigilację i scenariusze zagrożenia egzystencjalnego.
Długość i odcień paska porządkują te scenariusze względem siebie, a nie wobec innych zagrożeń. Dokładne prawdopodobieństwa podano obok każdego z nich.
Najczęściej cytowana liczba w dyskursie o ryzyku egzystencjalnym związanym z AI pochodzi z badania Grace et al. z 2024 roku, przeprowadzonego wśród 2778 badaczy, którzy publikowali w czołowych miejscach poświęconych AI: mediana prawdopodobieństwa 5% (średnia 9%) wyginięcia ludzkości lub równoważnej katastrofy, pod warunkiem rozwoju sztucznej inteligencji na poziomie ludzkim. Od 38% do 51% respondentów przypisało co najmniej 10% szans. Niezależnie, filozof Toby Ord oszacował 10% bezwarunkowe prawdopodobieństwo katastrofy egzystencjalnej spowodowanej przez niezgodną AI w tym stuleciu, co stanowi największy pojedynczy wkład w jego ogólne oszacowanie ryzyka egzystencjalnego ze wszystkich źródeł, wynoszące 1 na 6. Geoffrey Hinton szacuje tę liczbę na 10-20% w ciągu trzydziestu lat; Yoshua Bengio na około 20%. Z drugiej strony, Yann LeCun nazywa całą debatę „kompletną bzdurą”, argumentując, że obecne architektury nie posiadają trwałej pamięci, rozumowania przyczynowego i modeli świata fizycznego, które byłyby wymagane do autonomicznego dążenia do celów. Zakres opinii ekspertów, od około zera do jednego na pięć, sam w sobie jest najważniejszą daną.
Luka w percepcji jest tutaj niezwykła. W przypadku większości wpisów na tej stronie opinia publiczna przecenia dobrze zmierzone ryzyko. W przypadku ryzyka egzystencjalnego związanego z AGI nie ma dobrze zmierzonego ryzyka, które można by przecenić lub niedocenić. Opinia publiczna jest dwumodalna. Badanie YouGov z 2024 roku wykazało, że 77% Amerykanów jest „zaniepokojonych” AI jako zagrożeniem dla ludzkości, jednak badanie Rethink Priorities wykazało, że tylko 4% wskazało AI jako najbardziej prawdopodobną przyczynę wyginięcia ludzkości (wojna nuklearna wypadła najwyżej, z wynikiem 42%). Pew Research donosi, że 57% Amerykanów ocenia ryzyka społeczne związane z AI jako „wysokie”, ale ta liczba łączy w sobie utratę miejsc pracy, dezinformację i nadzór ze scenariuszami wyginięcia. Społeczność ekspertów tymczasem skupia się wokół zaskakująco nietrywialnej mediany. Wartość 5% to nie jest liczba, którą większość ludzi zaakceptowałaby dla jakiejkolwiek innej przyczyny wyginięcia bez żądania nadzwyczajnych dowodów. Fakt, że tysiące badaczy, którzy tworzą te systemy, przypisują takie prawdopodobieństwo, jest albo poważnym zarzutem wobec kierunku rozwoju tej technologii, albo odzwierciedleniem tego, jak słabo skalibrowani są nawet eksperci dziedzinowi, prognozując bezprecedensowe wydarzenia.
Ten wpis nie podaje wiarygodnego oszacowania, ponieważ nie ma możliwego do obrony sposobu, aby skompresować dostępne dowody w jedno prawdopodobieństwo na całe życie. Zdarzenie nie ma bazowej stopy występowania. Technologia opisana w scenariuszach ryzyka jeszcze nie istnieje. Oszacowania ekspertów to opinie, świadome, przemyślane i opublikowane w recenzowanych miejscach, ale jednak opinie. Badanie Grace et al. było krytykowane za efekty ramowania. Respondenci są samowybierani spośród tych, którzy są skłonni spekulować na temat katastrof o niskim prawdopodobieństwie, a warunkowy charakter pytania (zagłada przy założeniu AI na poziomie ludzkim) sprawia, że bezwarunkowe prawdopodobieństwo zależy od prognozy czasowej, która sama obejmuje dziesięciolecia. Szczerze można powiedzieć tyle, że nietrywialna część ludzi, którzy najlepiej rozumieją AI, uważa, że istnieje nietrywialna szansa, że skończy się to bardzo źle, a podobnie wykwalifikowana część uważa, że obawy są przedwczesne do absurdu. Oba stanowiska zajmują laureaci Nagrody Turinga. Szczera odpowiedź brzmi, że nikt nie wie, a każdy, kto twierdzi inaczej, coś sprzedaje, być może startup zajmujący się bezpieczeństwem AI, być może kartę graficzną (GPU).
Powiązane ciekawostki
Mediana ekspertów dla katastrofalnego ryzyka AGI: ~5%. Broń jądrowa nie była użyta w konflikcie od 80 lat mimo ~13 000 głowic. Jedno ryzyko jest teoretyczne. Drugie ma za sobą historię sytuacji o włos od katastrofy.
Rejestr twierdzeń
Każda liczba poniżej jest tym, co podało dane źródło — z dosłownym cytatem, na którym się oparliśmy, i sposobem, w jaki doszliśmy do naszej wartości. Kliknij dowolny link, żeby zweryfikować bezpośrednio.
2/6 źródeł niezależnie zweryfikowanych słowo w słowo z podanym źródłem
-
[1] arXiv (Grace, Stewart, Sandbrink, Thomas, Weinstein-Raun, Brauner) — Thousands of AI Authors on the Future of AI Zweryfikowane
Thousands of AI Authors on the Future of AI- Statystyka
Mediana 5% prawdopodobieństwa wyginięcia ludzkości lub podobnie trwałej katastrofy spowodowanej zaawansowaną AI; średnia 9%; 38–51% respondentów przypisało prawdopodobieństwo ≥10%- Cytat
“"Between 38% and 51% of respondents gave at least a 10% chance to advanced AI leading to outcomes as bad as human extinction." ”
- Dane źródłowe z
- 2024-01-05
- Dostęp
- 2026-04-19 · kopia archiwalna
- Weryfikacja
- Cytat niezależnie pobrany ponownie i potwierdzony słowo w słowo z podanym źródłem podczas naszego audytu ugruntowania.
- Obliczenie
- Grace i wsp. przebadali 2 778 badaczy, którzy publikowali w czołowych forach AI (NeurIPS, ICML, ICLR, AAAI, IJCAI, JMLR). Ankieta pytała o prawdopodobieństwo „skrajnie złych” skutków (wyginięcia ludzkości lub jego odpowiednika) pod warunkiem rozwoju maszynowej inteligencji na poziomie ludzkim. Mediana odpowiedzi wyniosła 5%, średnia 9%. Od 38 do 51% respondentów, zależnie od sformułowania pytania, przypisało prawdopodobieństwo co najmniej 10%. Nie próbujemy tu przeliczać tego na bezwarunkowe prawdopodobieństwo w ciągu życia, bo sam warunek (istnienie AI na poziomie ludzkim) jest głęboko niepewny, a pomnożenie dwóch słabo ograniczonych wielkości daje liczbę sugerującą fałszywą precyzję.
- Niezależność
- Największa dotychczasowa ankieta badaczy AI. Metodologicznie niezależna od filozoficznej analizy ryzyka Orda i od sondaży opinii publicznej. Populacja ankiety częściowo pokrywa się ze środowiskiem badaczy bezpieczeństwa AI, ale obejmuje też wielu badaczy, którzy wcześniej nie angażowali się w dyskusję o ryzyku egzystencjalnym.
-
[2] Bloomsbury Publishing (Toby Ord, Future of Humanity Institute, Oxford) — The Precipice: Existential Risk and the Future of Humanity
The Precipice: Existential Risk and the Future of Humanity- Statystyka
1 na 10 (10%) ryzyka egzystencjalnego ze strony niedopasowanej AI w tym stuleciu, największy pojedynczy składnik ogólnego szacunku Orda, według którego ryzyko egzystencjalne wynosi 1 na 6- Cytat
“"I put the existential risk from unaligned artificial intelligence at around 1 in 10 over the next hundred years. This is higher than all other sources of existential risk I consider, combined." ”
- Dane źródłowe z
- 2020-03-06
- Dostęp
- 2026-04-19 · kopia archiwalna
- Obliczenie
- Liczba 10% u Orda jest subiektywnym szacunkiem prawdopodobieństwa, opartym na konsultacjach z badaczami AI, historycznych precedensach zarządzania technologią i analizie sposobów, w jakie dopasowanie AI może zawieść. To wyraźnie nie jest pomiar empiryczny, lecz przemyślany osąd filozofa moralności specjalizującego się w ryzyku egzystencjalnym. Ord szacuje całkowite ryzyko egzystencjalne w tym stuleciu na ~1 na 6 (17%), z czego AI odpowiada za 10 punktów procentowych, sztucznie zaprojektowane pandemie za ~3%, a resztę dają inne źródła (broń jądrowa, klimat, asteroidy, superwulkany). Wartość 10% nie jest warunkowana rozwojem AGI: zawiera niepewność Orda co do tego, kiedy lub czy takie systemy powstaną.
- Niezależność
- Ramy Orda to filozoficzna analiza ryzyka oparta na szerszym programie badawczym Future of Humanity Institute. Metodologia niezależna od ankiety Grace i wsp., choć Ord przywołuje wcześniejsze wersje tej samej ankiety (edycję z 2016 roku) jako jedną z wielu przesłanek.
-
[3] Pew Research Center — How the US Public and AI Experts View Artificial Intelligence
How the US Public and AI Experts View Artificial Intelligence- Statystyka
50% Amerykanów jest bardziej zaniepokojonych niż podekscytowanych rosnącą rolą AI w codziennym życiu (wzrost z 37% w 2021 roku); 57% ocenia ryzyko dla społeczeństwa jako „wysokie”- Cytat
“"A majority of Americans (57%) rate the risks of AI for society as high, with far fewer seeing high benefits." ”
- Dane źródłowe z
- 2025-04-03
- Dostęp
- 2026-04-19 · kopia archiwalna
- Obliczenie
- Ankieta Pew z 2025 roku śledzi ogólny niepokój związany z AI, a nie konkretnie ryzyko egzystencjalne. Wartość 57% „wysokiego” ryzyka łączy krótkoterminowe szkody (utratę pracy, dezinformację, inwigilację) ze scenariuszami na skalę wyginięcia. Osobna ankieta YouGov (grudzień 2024) wykazała, że 77% badanych jest „zaniepokojonych” AI jako „zagrożeniem dla ludzkości”, w tym 39% „bardzo zaniepokojonych”. Te liczby podajemy, by udokumentować, jak opinia publiczna postrzega to ryzyko, ale nie można ich bezpośrednio porównywać z warunkowym prawdopodobieństwem wyginięcia z badania Grace i wsp., bo mierzą różne konstrukty. Wzorzec dwumodalny, czyli wysoki ogólny niepokój przy niewielkiej wyrazistości samego wyginięcia (według Rethink Priorities tylko 4% wskazuje AI jako najbardziej prawdopodobną przyczynę wyginięcia), jest sam w sobie najważniejszym wnioskiem dla ujęcia luki percepcji.
- Niezależność
- Pew Research Center to niezależna, bezstronna organizacja badawcza. Jej metodologia (reprezentatywne dla kraju losowanie probabilistyczne) jest w pełni niezależna od ankiety badaczy AI i od filozoficznej analizy Orda.
-
[4] TechCrunch — Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'
Meta's Yann LeCun says worries about AI's existential threat are 'complete B.S.'- Statystyka
LeCun twierdzi, że obecnym systemom AI brakuje istotnych zdolności (trwałej pamięci, rozumowania, planowania, rozumienia świata fizycznego), i odrzuca egzystencjalne zagrożenie ze strony AI jako „complete B.S.”- Cytat
“"You're going to have to pardon my French, but that's complete B.S." LeCun argued that today's large language models lack some key cat-level capabilities, like persistent memory, reasoning, planning, and an understanding of the physical world. ”
- Dane źródłowe z
- 2024-10-12
- Dostęp
- 2026-04-19 · kopia archiwalna
- Obliczenie
- LeCun (Nagroda Turinga 2018, główny naukowiec ds. AI w Meta) i Andrew Ng (Stanford, współzałożyciel Coursera) reprezentują najbardziej widoczne sceptyczne stanowisko wśród uznanych badaczy AI. Ich argument jest architektoniczny: obecne LLM „manipulują językiem” bez prawdziwego rozumienia, nie mają trwałej pamięci ani rozumowania przyczynowego i zasadniczo nie są zdolne do autonomicznego dążenia do celów, którego wymagają scenariusze ryzyka egzystencjalnego. Całkowite odrzucenie przez LeCuna obaw o zagrożenie egzystencjalne jako „complete B.S.” jest kwestionowane, ponieważ ankieta Grace i wsp. pokazuje medianę 5% prawdopodobieństwa wyginięcia, a to nie jest „zero”. Spór jest częściowo empiryczny (co potrafią obecne systemy), a częściowo dotyczy ekstrapolacji (czy skalowanie lub przełomy architektoniczne dadzą jakościowo inne zdolności). Ze sceptycznego stanowiska nie wyprowadzamy żadnego szacunku prawdopodobieństwa, bo jest ono sformułowane jako kategoryczne odrzucenie założenia, a nie jako policzone ryzyko.
- Niezależność
- Relacja prasowa o publicznych wypowiedziach LeCuna. Reprezentuje stanowisko intelektualne odrębne zarówno od respondentów ankiety Grace i wsp. (którzy podawali niezerowe mediany), jak i od filozoficznej analizy Orda.
-
[5] Forbes, relaying a December 2024 Guardian report on Hinton's BBC Radio 4 Today programme interview — Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI
Geoffrey Hinton's Prediction Of Human Extinction At The Hands Of AI- Statystyka
Geoffrey Hinton (Nagroda Turinga 2018; Nagroda Nobla z fizyki 2024) podniósł swój szacunek wyginięcia ludzkości spowodowanego przez AI w ciągu 30 lat do zakresu 10–20%, z wcześniejszego samodzielnego szacunku 10%- Cytat
“"Geoffrey Hinton, often referred to as one of the 'godfathers' of artificial intelligence, believes there is a 10% to 20% chance that AI could drive humanity to extinction within 30 years." Speaking on BBC Radio 4, Hinton said: "we've never had to deal with things more intelligent than ourselves before." ”
- Dane źródłowe z
- 2024-12-29
- Dostęp
- 2026-07-01 · kopia archiwalna
- Obliczenie
- Hinton podał samodzielny szacunek 10% katastrofalnego skutku we wcześniejszych wywiadach z 2024 roku. W wywiadzie dla BBC Radio 4 z grudnia 2024 (po raz pierwszy opisanym przez The Guardian, tutaj przywołanym za Forbes) podniósł go do zakresu 10–20% dla wyginięcia ludzkości spowodowanego przez AI w ciągu 30 lat. Źródło przytaczamy wyłącznie po to, by uzasadnić wiersz „Szacunki Hintona i Bengia” oraz twierdzenie o zakresie opinii ekspertów w tekście wpisu. Brak szacunku punktowego w tym wpisie nadal opiera się na pracach Grace i wsp. oraz Orda, a nie na tym pojedynczym szacunku jednej osoby.
- Niezależność
- Przekaz prasowy z wywiadu radiowego: pojedynczy, imiennie wskazany pogląd jednej osoby, metodologicznie porównywalny ze źródłem o LeCunie opisanym wyżej po stronie sceptycznej, a nie z systematyczną ankietą ani analizą filozoficzną.
-
[6] arXiv preprint — An International Agreement to Prevent the Premature Creation of Artificial Superintelligence Zweryfikowane
An International Agreement to Prevent the Premature Creation of Artificial Superintelligence- Statystyka
Dokumentuje publicznie podany szacunek Yoshuy Bengia: około 20% prawdopodobieństwa, że rozwój zaawansowanej AI okaże się katastrofalny- Cytat
“"Yoshua Bengio, a Turing Award recipient and the most cited living scientist, said he thinks there is a 'twenty percent probability that it turns out catastrophic'" ”
- Dane źródłowe z
- 2025-11-01
- Dostęp
- 2026-07-01 · kopia archiwalna
- Weryfikacja
- Cytat niezależnie pobrany ponownie i potwierdzony słowo w słowo z podanym źródłem podczas naszego audytu ugruntowania.
- Obliczenie
- Bengio nie opublikował jednego ostatecznego procentu we własnych formalnych tekstach. W jego blogowym FAQ o katastrofalnych zagrożeniach ze strony AI proponowany jest złożony wzór. Jego składowe prawdopodobieństwa mają, jak pisze, zostać ustalone w sondażu ekspertów. Nagrania jego wystąpień opisują harmonogramy rozwoju zdolności, a nie jedno prawdopodobieństwo ryzyka. Przypisywana mu liczba ~20% jest mimo to szeroko i konsekwentnie podawana. Ten artykuł z arXiv przytaczamy, bo dokumentuje konkretną liczbę w datowanym, możliwym do zacytowania kontekście. Użyte wyłącznie jako źródło wiersza „Szacunki Hintona i Bengia” oraz twierdzenia o zakresie opinii ekspertów w tekście wpisu.
- Niezależność
- Wtórna dokumentacja akademicka publicznej wypowiedzi, a nie pierwotny zapis wywiadu ani własne opublikowane teksty Bengia. Bezpośrednie sprawdzenie jego bloga, zapisu wystąpienia TED i podsumowania incydentu OECD.AI nie wykazało oświadczenia samego autora z dokładnie tą liczbą, choć ~20% powtarza się konsekwentnie w niezależnych źródłach wtórnych.