הבינה המלאכותית הוכיחה הצלחות בחקר שפות נדירות ופחות נפוצות

המודלים השפה הגדולים מצמצמים את הפער בשפה

גרסאות חדשות של בינה מלאכותית (AI) מציגות התקדמות ניכרת בעבודה עם שפות נדירות ולא מוכרות, מה שמפחית משמעותית את "פער השפה" הגלובלי. זה מאושר במחקר של חברת RWS, פורסם ב-TechRadar.

1. מה המחקרים הראו
- Google Gemini Pro קיבל דירוג איכות מעל 4,5 מתוך 5 בנוגע לידיעת שפת קיניארואנדא – שנדברת על ידי כ-12 מיליון אנשים ברואנדה, באוגנדה ובהרפובליקה הדמוקרטית של הקונגו.
- המחברים מסבירים את ההצלחה בכך שהמודלים המודרניים מסתמכים לא רק על מאגרי נתונים ענקיים של שפה ספציפית, אלא גם משתמשים בתבניות סטטיסטיות משותפות לכל השפות (מנגנון העברת בין שפות).
- שיפורים בטוקניזציה – מערכות לחלק טקסט ל"טוקנים" – תורמים גם הם לעבודה מדויקת יותר עם שפות נדירות.

2. אפקט "דירף הבנצ'מרק"
המומחים גילו שאם עוברים מגרסה אחת של מודל לגרסה הבאה, יכולותיו עשויות להשתנות באופן בלתי צפוי:
- הגרסה האחרונה של OpenAI GPT מאבדת על פני המודלים הישנים יותר בכמה משימות יצירת תוכן, למרות שהמ predecessor הייתה יעילה יותר.
- יעילות הטוקניזציה יכולה להשתנות עד פי 3.5 בין דורות; זה אומר שהתוצאות של בדיקות קודמות אינן תמיד חלות על גרסאות חדשות.

3. מה משתנה בהעדפות המפתחים
- בעבר מעבדות AI היו מתמקדות בביצועים באנגלית ובכמה שפות מפתח.
- מודלים מודרניים כבר מצליחים במשימות אלה, ולכן התשומת לב נעה לקהל רחב יותר: תמיכה בשפות נדירות נעשית חשובה יותר ויותר.
- עם זאת, דירוג 4.5/5 אינו מבטיח רמת שליטה אמיתית בשפה; תמיכה רב‑לשונית עדיין אינה נחשבת קריטית.

4. סיכום
AI ממשיך לפרוץ מחסומים בין תרבויות ושפות. למרות שה"כיסוי" של שפות נדירות עדיין לא הפך לדרישה חובה, המגמה לכיסוי קהל רחב יותר כבר גלויה וכפי שמצפים המומחים, היא תתעצם בשנים הקרובות.