אנדיי קרפטי הדריך סוכני בינה מלאכותית לבצע מאות ניסויים בלילה, כאשר אנשים מנחים

אנדראי קרפטאי (Andrej Karpathy) פותח גישה חדשה למחקר עצמי

מנהל קודקודים של פרויקטי בינה מלאכותית בטסלה ומייסד משותף של OpenAI, אנדריי קרפטאי הודיע על השקת פרויקט פשוט אך חזק בקוד פתוח. הסקריפט מורכב מ-630 שורות בלבד והוא מאוחסן בגיטהאב. הוא אינו מתיימר להיות מודל מוכן או מוצר תאגידי גדול; המטרה היא להראות כיצד סוכני בינה מלאכותית יכולים לאוטומציה מלאה של השיטה המדעית ללא התערבות אנושית.

> „המטרה שלנו היא לבנות סוכנים שמתקדמים במהירות אינסופית במחקר, גם בלילה“ – כתב קרפטאי ב-X. ההודעה הפכה מיד לוויראלית והציגה יותר מ-8.6 מיליון צפיות בשתי ימי

איך המערכת עובדת
1. אתחול

הסוכן מקבל סקריפט אימון ולוח זמנים חישובי קבוע (בדרך כלל 5 דקות על GPU).

2. ניתוח עצמי של הקוד

קורא את קוד המקור שלו, מנסח היפותזה לשיפור (למשל שינוי מהירות האימון או עומק המודל).

3. שינויים והפעלת ניסוי

מבצע שינויים, מפעיל ניסוי ומעריך תוצאות.

4. בדיקת יעילות

אם מדד *val_bpb* (איבוד ל-בייט בעת אימות) משתפר, השינוי נשמר; אחרת הוא מתווסף מחדש והופכת היפותזה חדשה.

במהלך הלילה אחד הסוכן ביצע 126 ניסויים, הפחית איבודים מ‑0.9979 ל‑0.9697. לאחר התאמת שתי ימי הוא עיבד כ-700 שינויים עצמאיים, מצא ~20 שיפורים נוספים שהועברו בהצלחה למודלים גדולים יותר.

קרפטאי ציין: „לראות את הסוכן מנהל את התהליך מההתחלה ועד הסוף באופן מלא, מדהים. הוא גילה טעויות בקנה מידה של תשומת לב ורגולציה שפספסתי במשך 20 שנות עבודה“.

מה אומרים המומחים
אוטומציה של השיטה המדעית נחשבת לשינויים יסודיים בהתפתחות הבינה המלאכותית. על ידי הפיכת למידת מכונה ל«הליך אבולוציוני» במהירות הסיליקון, קרפטאי פתח אופקים חדשים למחקר לא רק בתחום ה-IT אלא גם בשיווק, בריאות ובתחומים אחרים.

דוגמאות לשימוש מעשי
חבר | תיאור הניסוי | תוצאות
Hyperspace AI (Varun Mathur) | 35 סוכנים עצמאיים פועלים ברשת Peer-to-Peer, משתמשים ב-CPU נוטב. | בלילה ביצעו 333 ניסויים ללא מפעיל, גילו אסטרטגיות אתחול (Kaiming, Xavier) ונורמליזציה (RMSNorm).
Single Grain (Eric Siu) | אוטומציה של מחזור שיווק: הסוכן משנה משתנים בדפי יעד, יצירת פרסומות או מיילים. | מודד „אחוז תגובות חיוביות“, שומר שינויים מוצלחים ומוחק לא יעילים.

החלטה
קרפטאי הדגים כיצד סקריפטים פשוטים יכולים להפוך לכלי חזק ללמידה עצמית של סוכני בינה מלאכותית. מחזור אוטומטי של אופטימיזציה מאפשר לבצע מאות ניסויים בלילה, לזהות שיפורים שבעבר דרשו שנים של מחקר. זה פותח את הדרך לפיתוח מהיר ומסוגל יותר של מודלים בתחומים מגוונים.