החוקרים השתמשו ב-AI כדי להפוך שעוני חכמה רגילים למכשיר מדידת תנועות יד מדויק

שעות‑עוזרות חדשות מאוניברסיטת קורנל ו-KAIST

המדענים מאוניברסיטת קורנל (ארה״ב) והאקדמיה הקוריאנית לטכנולוגיות מתקדמות (KAIST) יצרו מערכת WatchHand, המפיקה שעונים חכמים רגילים למעקב מלא אחר תנועות היד. המערכת משתמשת רק באוזן הפנים של השעון ובמקטר שלו, ללא צורך בחיישנים חיצוניים.

איך עובדת WatchHand
1. אות אקוסטי – השעון משדר גלי קול שאינם נשמעים.
2. קבלת הדה – המקטר רושם את האותות המוחזרים ומייצר פרופיל דה.
3. עיבוד במכשיר – אלגוריתם למידת מכונה שפועל מקומית ממיר את הפרופיל לקואורדינטות של היד בשלושה צירים.

כך המערכת מעבדת את הנתונים ישירות בשעון, מה שמבטיח פרטיות וזמן תגובה מינימלי.

יתרונות
מדד WatchHand | פתרונות מסורתיים
לא דורש חיישנים חיצוניים ✔ ❌ (מצלמות, חיישני IMU)
מתאים לשימוש יומיומי ✔ ❌
ניתן להרחבה למיליוני מכשירים ✔ ❌
עיבוד מקומי של נתונים ✔ ❌

בדיקות
- משתתפים – 40 אנשים.
- נתונים – כ־36 שעות תנועות, שנאספו בארבע ניסויים עצמאיים.
- פלטפורמות – מספר דגמים של שעוני חכמה.
- סценריונים – מצבים שונים של היד ותנאי רעש.

התוצאות הראו מעקב אמין על תנועות האצבעות והסיבוב של המרפק גם בתנאים מורכבים.

הזדמנויות שימוש
* ניהול מחשב ויישומים באמצעות מחוות.
* אינטראקציה עם מערכות AR/VR.
* עזרה לאנשים עם מגבלות תנועה או דיבור.

סטודנט KAIST, ג'יבאן קים, מציין: «אם למכשיר יש אוזן פנים ומיקרופון, הגישה שלנו מתאימה».

הגבלות ועתיד
* כרגע עובד רק על מכשירי Android.
* דיוק יורד בתנועת המשתמש (למשל בזמן הליכה).

הצוות מפתח פעיל שיפורים לסценריונים ניידים.

ממצאי המחקר יופיעו בכנס ACM CHI 2026 בנושא גורם אנושי במערכות חישוביות.

רעיון מרכזי

פרופסור קורנל, צ'נג צ'אנג, סיכום: «WatchHand מציגה כיצד עדכון תוכנה פשוט יכול להפוך מיליוני שעונים קיימים לפלטפורמות אינטיליגנטיות למעקב התנהגות. זה פותח את הדרך לשיטות חדשות של אינטראקציה עם מכשירים דיגיטליים ללא מקלדות ועכברים».