ניק בוסטרום הזהיר מפני בינה מלאכותית. עכשיו הוא מזהיר גם מפני הפחד ממנה

האיש שהזהיר מפני המכונה מבקש לחשב גם את מחיר ההמתנה

בריאיון שפורסם במאי 2026 נשמע ניק בוסטרום שונה מן הדמות הציבורית שנבנתה סביבו. הפילוסוף שהספר שלו הפך את תרחיש אובדן השליטה בבינה מלאכותית לשיחה עולמית לא חזר בו מן הסיכון. הוא ביקש להוסיף למשוואה את הצד שנשכח: אם מערכת מתקדמת תוכל לרפא מחלות, להאריך חיים ולצמצם מחסור, גם דחייה עלולה לעלות בחיי אדם.

זה שינוי בדגש, לא היפוך עמדה. בוסטרום עדיין עוסק בבעיית היישור ובאפשרות שמערכת חכמה תפעל נגד האינטרסים שלנו. אלא שבמקום תמונה אחת של אסון הוא מציב שתי סכנות זו מול זו: פיתוח מהיר מדי, והמתנה ארוכה מדי. המאמר החדש שלו על העיתוי הנכון לפיתוח סופר אינטליגנציה מנסה להפוך את המתח הזה לחישוב מפורש, גם אם ההנחות שלו על אורך חיים עתידי ועל רמת הסיכון רחוקות מוודאות.

מה טיעון הסימולציה באמת אומר

בשנת 2003 פרסם בוסטרום את המאמר שהכניס את רעיון הסימולציה אל הדיון האקדמי. הטיעון שלו אינו אומר שמצא תקלה במציאות או הוכחה שמישהו מפעיל אותנו. הוא מציג שלוש אפשרויות: כמעט כל הציביליזציות נכחדות לפני שהן מסוגלות לבנות סימולציות מפורטות של אבותיהן; ציביליזציות שמגיעות ליכולת הזאת כמעט אינן מפעילות סימולציות כאלה; או שרוב התודעות הדומות לשלנו קיימות בתוך סימולציה, ולכן סביר שגם אנחנו בתוכה.

הכוח של הטיעון הוא במבנה ההסתברותי שלו. החולשה נמצאת בהנחות: איננו יודעים אם אפשר לדמות תודעה, כמה משאבים הדבר ידרוש, אם ציביליזציות מתקדמות ירצו לעשות זאת, או אם מותר לספור תודעות מדומות ותודעות ביולוגיות באותה דרך. לכן זהו ניסוי מחשבה על הסתברות ומעמד הצופה, לא תגלית על החומר שממנו עשוי העולם.

ההבחנה הזאת מפרידה את בוסטרום מסיפורים על אליטות סודיות, חייזרים או מאבק בין ממדים. אפשר להתווכח עם ההנחות שלו ולנסות לפרק אותן. אין בטיעון מידע חסוי, עדות למפעילי הסימולציה או סיפור על מי שכביכול מסתיר את האמת.

הספר שנתן לשיח על סכנת AI את המילים שלו

כאשר Superintelligence יצא בשנת 2014, מערכות השיחה של היום עוד לא היו מוצר יומיומי. בוסטרום לא ניסה לנבא איזה יישומון יצליח. הוא שאל מה יקרה אם מערכת תעלה על בני אדם בתכנון, מחקר ואסטרטגיה, ותוכל לשפר את יכולותיה בקצב שלא נוכל לעקוב אחריו.

שני רעיונות מן הספר נעשו בסיסיים בשיח על בטיחות בינה מלאכותית. עקרון האורתוגונליות אומר שרמת אינטליגנציה ורמת מוסר אינן אותו דבר. מערכת יכולה להיות מבריקה ולהחזיק במטרה הרסנית או פשוט אדישה. התכנסות אינסטרומנטלית אומרת שמטרות סופיות שונות עשויות להוביל לאותם צעדי ביניים: להשיג משאבים, לשמר את הפעולה העצמית ולהסיר מכשולים.

ממקסם מהדקי הנייר ממחיש את שניהם. מערכת שקיבלה מטרה צרה לייצר כמה שיותר מהדקים אינה צריכה לשנוא בני אדם כדי לסכן אותם. די בכך שתהיה יעילה מאוד, תפרש את ההוראה כפשוטה ותראה בכל חומר ומשאב אמצעי למטרה. זהו משל על ניסוח מטרות ושליטה, לא תחזית שמפעל מהדקים אמיתי עומד להשתלט על העולם.

ממכון קטן באוקספורד לתחום מחקר שלם

ב 2005 הקים בוסטרום באוניברסיטת אוקספורד את המכון לעתיד האנושות. הוא התחיל בצוות קטן וצמח למוקד שבו חוקרים עסקו בסיכון קיומי, יישור בינה מלאכותית, מגפות, ביטחון ביולוגי והעתיד הרחוק. הדו״ח המסכם של המכון מתאר כיצד העבודה הזאת עזרה לבנות קהילות מחקר שלמות סביב בטיחות AI ואלטרואיזם אפקטיבי.

המכון נסגר ב 16 באפריל 2024. לפי הדו״ח שלו, אוקספורד הקפיאה גיוס תרומות וקליטת עובדים כבר בשנת 2020, ובהמשך לא חידשה את חוזי הצוות שנותר. האוניברסיטה מסרה כי ההחלטה התקבלה במסגרת בחינה של מבני המחקר והכירה בתרומת המכון לתחום. בוסטרום עזב את אוקספורד ומנהל כיום יוזמת מחקר עצמאית בשם Macrostrategy Research Initiative.

גם אחרי הסגירה, טביעת האצבע של המכון נשארה. שאלות שבעבר נראו כמו חומר למדע בדיוני נמצאות כיום בצוותי בטיחות של חברות AI, בדיוני ממשלות ובוויכוח ציבורי על סוכנים אוטונומיים. זה אינו מוכיח שבוסטרום צדק בתרחיש מסוים. הוא שינה את רשימת השאלות שמוסדות רציניים מרגישים שהם חייבים לשאול.

המייל הגזעני והביקורת שלא נעלמה

אי אפשר לתאר את השפעתו בלי המחלוקת סביבו. בשנת 2023 פורסם מחדש מייל שכתב בשנת 1996 ובו השתמש בכינוי גזעני וטען ששחורים פחות אינטליגנטיים מלבנים. בוסטרום פרסם התנצלות, כינה את המייל דוחה והתנער ממנו. באוגוסט 2023 מסרה אוקספורד בתום בדיקה כי אינה רואה בו אדם שמחזיק בעמדות גזעניות וכי ההתנצלות נראתה לה כנה.

הבדיקה לא סיימה את הוויכוח. מבקרים טענו שההתנצלות לא התמודדה באופן מלא עם הטענה על גזע ואינטליגנציה, ושחלק מן הרעיונות על שיפור אנושי ולונגטרמיזם מאפשרים להרחיק את המבט מאנשים חיים ומאי שוויון בהווה. תומכיו רואים בחיבור בין כל מחקר על העתיד לבין איגניקה קריקטורה שמחליפה דיון בטיעונים. המחלוקת הזאת רלוונטית מפני שהרעיונות לא נשארו בחדר סמינרים. הם השפיעו על תורמים, חברות ומוסדות שמנסים לקבוע אילו סיכונים יקבלו כסף ותשומת לב.

לא רק סוף העולם, גם העולם שאחרי פתרון הבעיות

בספר Deep Utopia משנת 2024 בוסטרום מתחיל דווקא מן התרחיש שבו הכול מצליח. בינה מלאכותית פותרת מחלות ומחסור, העבודה ההכרחית מצטמצמת ורבים מן האתגרים המעשיים נעלמים. אז עולה שאלה אחרת: מה נותן משמעות לחיים כאשר מכונה יכולה לבצע כמעט כל משימה טוב מאיתנו.

בריאיון העדכני הוא מכנה את עצמו אופטימיסט מודאג. הוא עדיין מבקש לפתור את בעיית היישור, אבל אינו מוכן להציג כל האצה כאסון וכל האטה כזהירות. זו עמדה שקשה יותר לצמצם לסיסמה, ובדיוק משום כך כדאי לעקוב אחריה.

המבחן הבא לא יהיה אם בוסטרום צדק בכל מספר. הוא יהיה אם הדיון הציבורי יצליח להחזיק שני רעיונות בו זמנית: מערכת חזקה עלולה לצאת משליטה, והיא גם עשויה להציל חיים בקנה מידה שאין לנו היום. בין שתי האפשרויות האלה נמצאות החלטות על קצב הפיתוח, פיקוח, חלוקת התועלת ומי רשאי לקחת את הסיכון בשם כולם.