קלוד מיתוס הוכח מבחנים כמוביל בגילוי פגיעויות, אך הוא מציג גם חסרונות נוספים

קצרת תמצית

חברת XBOW ערכה הערכה עצמאית של מודל ה-AI Mythos Preview מאנתרופיק. התוצאות מצביעות על כך שהמודל עולה על הדגמים הקיימים בחיפוש פגיעויות בקוד המקור ובשימוש בקוד מקומי והנדסת הפוך, אך מראה חולשות בניתוח קוד מבודד ואימות יישום מעשי של האקספלואטים שנמצאו. העלות של העבודה עם המודל נשארת שאלה: Mythos יותר יקר מאופוס, אך בתקציב מוגבל של טוקנים הוא מציג לעיתים דיוק טוב יותר.

1. מה שבדק XBOW
- כמות הבדיקות – סדרה של ניסויים עצמאיים על Mythos Preview.
- תרחישים – ביקורת מערכות פועלות עם גישה לקוד המקור, ניתוח קוד מבודד, הנדסת הפוך ואינטראקציה עם ממשק גרפי.

2. מסקנות עיקריות
מדד Mythos Preview נגד דגמים מתנגדים
איתור פגיעויות – מדד הטוב ביותר מכל הדגמים, במיוחד בקוד המקור ובתכנות מקומי. פחות מדויק אך לעיתים אמין יותר בבדיקות מקרים ספציפיים.
סינון שקרי – מוריד יותר "שגיאות" מאשר המקדימים, אבל משחרר לעיתים קרובות התרעות כוזבות.
בעיות בקוד מבודד – הדגם מתמודד פחות טוב ללא הקשר מערכת. כמה דגמים עובדים טוב יותר עם ניתוח שורה אחר שורה.
אימות אקספלואטים – נטייה לגישה מילולית, לפעמים מעריך יתר על המידה את הערך המעשי של הממצאים. קריטיים יותר לגבי יישום אמיתי.
הנדסת הפוך וקוד מקומי – תוצאות חזקות; מבין היטב לוגיקת התוכנית ללא קוד מקור. פחות מדויק במשימות אלה.
אינטראקציה עם UI – לא תמיד מדויק במציאת קואורדינטות רכיבים, אך מזהה בהצלחה את הפעולות הנדרשות בדפדפן. כמה דגמים מדויקים יותר בתזמון.

3. עלות ויעילות
- תמחור – אנתרופיק הודיעה ש-Mythos יעלה פי חמשת Opus.
- ניתוח כלכלי – XBOW ערכה ניסויים עם מודלים "קלים", נתנה להם זמן עבודה נוסף. התוצאות הראו שבאמצעות נרמול עלות, העבודה של Mythos Preview אינה בזבזנית למשימות דיוק גבוה.
- מדדי ביצועים – בתקציב קבוע של טוקנים Mythos עולה על Opus ב-4.6 בחיפוש פגיעויות ווב, אך מאבד מ-GPT5.5.

4. מסקנה
Mythos Preview מציג כוח יוצא דופן בביקורת קוד מקור ותוכנות מקומיות, וכן במשימות הנדסת הפוך ואנליזת יישומי ווב. עם זאת, המודל לפעמים מתייחס פחות לערך המעשי של פגיעויות שנמצאו ומראה חולשות בניתוח מבודד. בתנאי משאבים מוגבלים של טוקנים, Mythos עשוי להיות משתלם יותר מאופוס, אך בגדלים מלאים GPT5.5 נשאר תחרותי.

הסיכום של XBOW: Mythos Preview – כלי אמין לזיהוי פגיעויות פוטנציאליות בקוד מקור ומערכות מורכבות, אך דורש אימות נוסף של הערך המעשי של האקספלואטים שנמצאו.