המכונה כתבה מחקר. הבודקים נתנו לה ציון עובר

שלושה בודקים, שלושה ציונים

6, 7, 6. אלה הציונים שקיבל מאמר שכתבה מערכת AI Scientist v2 של חברת Sakana AI. לפי החברה, הממוצע הספיק כדי לעבור את רף הקבלה המקובל בסדנה מדעית שנערכה לצד כנס בינה מלאכותית בשנת 2025. שני המאמרים האחרים שהגישה המערכת לא הגיעו לרף הזה.

החברה הודיעה על הניסוי ב 12 במרץ 2025, והדוח הטכני הוגש לארכיון המחקרים arXiv ב 10 באפריל. בני אדם בחרו תחום מחקר רחב ואת המאמרים שיישלחו לבדיקה. ביניהם, לפי הצוות, המערכת הציעה רעיונות, כתבה קוד, הריצה ניסויים, ניתחה את המספרים וכתבה את המאמרים. הבודקים קיבלו עבודה שנוצרה בתהליך הזה, והתבקשו להעריך אותה לפי תוכנה.

דווקא השיטה שלא הצליחה עניינה את הבודקים

המאמר שזכה בציונים הגבוהים עסק בשאלה מוכרת בלמידת מכונה: האם רשת עצבית יודעת להשתמש במה שלמדה גם כשהחלקים מופיעים בצירוף חדש? למשל, לזהות איך לפתור ביטוי חשבוני שסודר אחרת מהתרגילים שראתה בזמן האימון.

המערכת בדקה תוספת לשיטת האימון בעזרת ביטויים חשבוניים שנוצרו לצורך הניסוי. התוספת נועדה לשפר את היכולת להתמודד עם צירופים חדשים. בפועל היא לא הביאה את השיפור המבוקש, ובחלק מהבדיקות אף פגעה בביצועים.

תוצאה כזאת יכולה לחסוך לחוקרים אחרים ניסיון שכבר נכשל, בתנאי שהניסוי מתואר היטב ואפשר לחזור עליו. הסדנה שאליה הוגש המאמר עסקה גם במגבלות ובתוצאות שליליות. לכן כישלון השיטה כשלעצמו לא פסל את העבודה.

מה קורה בין הרעיון למאמר

יוטרו יאמאדה ועמיתיו מתארים מערכת שמפתחת כמה גרסאות של ניסוי. היא יכולה לשנות קוד, לתקן שגיאה, להשוות תוצאות ולהמשיך בכיוון שנראה מבטיח. תוכנה שמנהלת את התהליך עוקבת אחרי הגרסאות, כדי שהמערכת לא תצטרך להתחיל מחדש בכל ניסיון.

גם כתיבת המאמר מחולקת לשלבים. אחד הרכיבים בודק את התרשימים באמצעות מודל שקורא טקסט ותמונות. הוא נועד לאתר חוסר התאמה בין הגרף, הכיתוב שמתחתיו וההסבר בגוף המאמר. בדיקה כזאת חשובה במיוחד כאשר אותה מערכת מייצרת גם את הנתונים וגם את הסיפור שהיא מספרת עליהם.

התרשים המקורי שמופיע בהמשך הכתבה מציג את סדר הפעולות. הוא עוזר להבין איך החלקים מחוברים, ואינו השוואת ביצועים מול חוקרים אנושיים.

למה המאמר לא פורסם בסוף

הצוות תיאם את הניסוי מראש עם מארגני הסדנה. הבודקים ידעו שחלק מהעבודות עשויות להיכתב בידי בינה מלאכותית, אך לא ידעו אילו. אחרי קבלת הביקורות נמשכו כל שלושת המאמרים, כפי שסוכם מראש.

המאמר המוביל לא הגיע להחלטה הסופית של עורכי הסדנה. גם עם הציונים שקיבל, עדיין הייתה אפשרות שיידחה. כלומר, הוא עבר את הרף המספרי שעליו דיווחה החברה, אך לא השלים את הליך הקבלה ולא פורסם במסלול הראשי של הכנס.

זה משאיר הישג מסוים מאוד: בודקים אנושיים מצאו במאמר מספיק ערך כדי לתת לו את הציונים האלה. אין כאן אישור גורף לאיכות כל המחקרים שהמערכת תייצר. גם החוקרים שפיתחו אותה הבחינו בין הרמה שנדרשה בסדנה לרף הגבוה יותר של הכנס המרכזי.

אפשר להוריד את הקוד. ההרצה כבר מורכבת יותר

הצוות פרסם בגיטהאב את קוד המערכת והוראות ההתקנה. נדרשים לינוקס, כרטיסי מסך של NVIDIA וחיבור לשירותי מודל ומחקר. לצד זמן ההקמה צריך להביא בחשבון גם את עלות החישוב ואת הזמן שאדם ישקיע בבדיקת התוצאות.

מכיוון שהתוכנה מריצה קוד שהמודל כתב, המפתחים ממליצים לבודד אותה מקבצים וממערכות אחרות. הרישיון הנוכחי כולל מגבלות שימוש וחובה לציין בבירור כשמאמר נוצר בעזרת המערכת. הקוד אמנם זמין לציבור, אך אינו ניתן לשימוש ללא התנאים האלה.

אנחנו לא חזרנו על הניסויים. קראנו את הדוח ואת הוראות הצוות. מי שמכיר את התחום יכול להתחיל בקוד הניסוי ובביקורות, ולבדוק אם התוצאות שהמאמר מציג תואמות למה שהקוד מחשב.

מה יהיה הישג גדול יותר מציון עובר

מערכת שמסוגלת לנסות כמה כיוונים יכולה לקצר עבודה שחוקר היה מבצע ידנית. מצד שני, כל מאמר נוסף צריך מישהו שיקרא אותו ויבדוק שהניסוי תקין. כתיבה מהירה עלולה להעביר את העומס מהכותבים אל הבודקים.

המשך משכנע לניסוי יהיה קבוצה אחרת שתחזור על התוצאות ותשתמש בהן במחקר שלה. לשם כך נחוצים הפרטים שהצוות פרסם: הקוד, שיטת הניסוי, התוצאות והביקורות. הציונים הראו שהמערכת יודעת להכין עבודה שהבודקים מתייחסים אליה ברצינות. השימוש שיעשו בה חוקרים אחרים יראה עד כמה היא מועילה.