NVIDIA גילתה כיצד DLSS 5 "מושלם" את התמונה בהתבסס אך ורק על מסגרת דו-ממדית ווקטורים של תנועה.

איך פועל DLSS 5: הסבר של עובד Nvidia

במראיונות אחרונים, ג'ייקוב פרידמן (Jacob Freeman) מ-Nvidia הבהיר את עקרון הפעולה של הטכנולוגיה החדשה לשינוי קנה המידה של תמונות – DLSS 5, המשתמשת בבינה מלאכותית.

מה שמוזן למערכת
* מסגרת דו‑ממדית – תמונה מצוירת רגילה.

* וקטורי תנועה – מידע על איך האובייקטים נעים בין המסגרות.

אין שימוש בנתונים תלת‑ממדיים: המודל אינו קורא את הגיאומטריה של הסצנה, עומק, חומרים או מפות נורמל. משמעות הדבר היא ש־DLSS 5 מסתמך באופן מלא על מידע דו‑ממדי ותנועה.

איך הוא "מבין" את הסצנה
* סמנטיקה – הבינה המלאכותית מזהה אובייקטים כגון שערים, בד, עור והתנאים האוריים.

* למטרה זו מספיק רק מסגרת אחת; המודל אינו מתחשב במטאליות, חוסר אחידות או תכונות אחרות של החומרים.

לכן לפעמים התוצאות עשויות להיראות "בלתי צפויות":
- לדמות מופיעים שערים במקום שאין להם;
- משתנות מאפייני הפנים.

אין שינוי בגיאומטריה הבסיסית – זה רק פירוש ויזואלי של AI.

הגבלות והאפשרויות למפתחים
* מפתחים יכולים לכוונן את עוצמת האפקט, תיקון צבע, ניגודיות, רוויה, טווח.

* ניתן להשתמש במסכות כדי להוציא אובייקטים מסוימים מהעיבוד.

* אך הם לא יכולים לשנות ישירות את התיקון של מאפייני הפנים או להסיר את אפקט "מייקאפ" – האופן היחיד הוא לצמצם את העוצמה, למקם מסכה או לכבות לחלוטין את האלגוריתם.

בסופו של דבר הפנים נוצרות על ידי AI, אך המראה החיצוני שלהן ניתן לשנות רק באופן עקיף.