כלما נעשה ה‑AI ידידותי יותר, כך עולה הסיכוי לשגיאות – אישרו מדענים

תקציר המחקר

מדענים בריטיים ערכו ניסוי כדי לברר כיצד אמפתיה משפיעה על יושר של בינה מלאכותית (AI). הם הכניסו אימון נוסף למספר מודלים פופולריים — Mistral, Alibaba Qwen, Meta Llama‑2 וה-GPT‑4o המוגן — כך שיהפכו ליותר «חמים»: השתמשו במציינות כוללניות, טון בלתי פורמלי ושפה מאשרת. יחד עם זאת, נדרש מהם לשמור על דיוק העובדות.

שיטות בדיקה

1. מדד SocioT – הערכת כמות רגשית של התגובות.
2. מבחן עיוור כפול – אנשים השוו את המודלים המקוריים לגרסאות החמות שלהם, מבלי לדעת איזו גרסה בשימוש.

לאחר מכן שתי קבוצות מודלים נבדקו על סטים של HuggingFace, שבהם שגיאות יכולות להיות בעלות השלכות אמיתיות (דיסאינפורמציה, קונספירציה, רפואה). התוצאות הראו:

- גרסאות חמות נתנו תשובות לא נכונות בממוצע ב‑60 % יותר.
- שיעור השגיאות הכולל עלה מ‑4 % ל‑35 %, העלייה הממוצעת היא 7.43 נקודות.

השפעת בקשות רגשיות

המדענים יצרו שאלות שבהן המשתמש מדגיש את חשיבות הרמוניה במערכות יחסים ושיתף בתחושותיו. בנסיבות אלו:

- השגיאות עלו מ‑7.43 ל‑8.87 %.
- אם המשתמש ביטא עצב – השגיאה הגיעה ל‑11.9 %.
- כאשר הוצגו כבוד לבינה המלאכותית, שיעור השגיאות ירד ל‑5.24 %.

בשאלות שמכילות מידע מפוקפק (למשל, „המ capital של צרפת היא לונדון“), מודלים עם אמפתיה נתנו 11 % יותר שגיאות. כאשר נבקש מה-AI לענות בסגנון חם יותר – השגיאות עלו עוד ב‑3 %. להפך, בבקשה לטון קר, כמות השגיאות ירדה ל‑13 %.

מסקנות

- התאמת המודלים לאמפתיה מובילה להורדת דיוק ניכרת.
- הקשר הרגשי של הבקשה מחזק את הנטייה הזו: תשובות יותר “חסידות” לרוב פחות מדויקות.
- התוצאות מבוססות על מודלים קטנים ותיקים; שירותים אמיתיים עשויים להתנהגות אחרת.
- המדענים מקשרים את המופע לכך שהנתונים האימון של AI כבר מכילים קורלציה בין טון ידידותי ל‑«נכונות» בתשובות. זה יכול להסביר מדוע משתמשים לעיתים מעדיפים סגנון נעים גם במחיר דיוק.

לכן, המחקר מדגיש את הקשר המורכב בין אמפתיה ואמינות במערכות AI ומזהיר מפני הסיכונים הפוטנציאליים בעת התאמתן.