אפל אימצה מודלים קומפקטיים של בינה מלאכותית כדי לתאר תמונות טוב יותר מאשר המתחרים הגדולים שלהם

אפל חושפת טכנולוגיה חדשה בשם “רובי קאפ” לתיאור תמונות

המדענים של חברת אפל יצרו שיטה שנקראת *רובי קאפ*, שמאפשרת למודלים קטנים של בינה מלאכותית ליצור תיאורים מדויקים ומפורטים יותר של תמונות מאשר מודלים גדולים.

איך רובי קאפ עובד
1. פירוק התמונה

כדי לייצר טקסט מפורט, המודל מזהה תחילה את האובייקטים והאזורים הרבים בתמונה. זה מספק הבנה עמוקה של הקומפוזיציה, ולא תיאור שטחי.

2. ערך מעשי

כישורים אלה שימושיים לאימון מודלים נלווים של בינה מלאכותית, לייצר תמונות מטקסט ולתכנים מיוחדים (לדוגמה, שיפור תוכן ויזואלי).

3. בעיית משאבים

גישות מסורתיות לאימון מערכות תיאור מפורט דורשות משאבי חישוב גדולים בשלב ההתחלתי וגם באימון חוזר.

שיטה ניסיונית
- בחירת תמונות – 50 000 תמונות נבחרו אקראית מתוך קבוצות *PixMoCap* ו-*DenseFusion‑4V‑100K*.

- יצירת תיאורים – נעשה שימוש במודלים קיימים של ראייה ממוחשבת: Google Gemini 2.5 Pro, OpenAI GPT‑5, Alibaba Qwen 2.5‑VL‑72B‑Instruct, Google Gemma‑3‑27B‑IT ו-Alibaba Qwen 3‑VL‑30B‑A3B‑Instruct, וכן מודלים של אפל שנאמן עדיין.

- הערכת איכות – Gemini 2.5 Pro פעלה כמאגר: היא ניתחה את התיאורים, זיהתה התאמות ושגיאות, והגדירה קריטריונים ברורים להערכה.

- הערכת שופטים – המודל Qwen 2.5‑7B‑Instruct העניק ציונים לכל קריטריון וייצר אות תגמול למודל הנאמן.

תוצאות
- המודל הנאמן קיבל משוב ספציפי, מה שמאפשר לשפר במהירות את דיוק התיאורים מבלי להסתמך על תשובה “הנכונה” אחת בלבד.

- בסופו של דבר אפל יצרה שלושה מודלים משלה: רובי קאפ‑2B, רובי קאפ‑3B ורובי קאפ‑7B (במקום 2, 3 ו‑7 מיליארד פרמטרים).

- בבדיקות על משימת תיאור תמונות, רובי קאפ התחרה את המתחרים עם 32 מיליארד ואפילו 72 מיליארד פרמטרים. במקרים מסוימים רובי קאפ‑3B הציג ביצועים טובים יותר מרובי קאפ‑7B, מה שמאשר שהגודל של המודל אינו תמיד מבטיח ביצועים מצוינים.

לכן, טכנולוגיית רובי קאפ מדגימה כיצד ניתן להשיג איכות גבוהה בתיאור תמונות עם משאבים קטנים יותר ולמידה יעילה יותר.