מורכבות בארכיבציה ברשת גוברת: מיישם ה-Wayback Machine ו־Wikimedia חווים מחסור במרחב כונן קשיח (HDD)

הקריסת אחסון הנתונים: כיצד עליית מחירי הדיסקים מונעת את פרויקטי הארכיון הגדולים ביותר

דיסקים הופכים יקרים יותר ונדירים, וזה מקשה על הארגונים שמאחסנים באופן יומיומי כמות עצומה של מידע מהאינטרנט.

1. מדוע המחירים עולים
* דיסקים קשיחים (HDD) כעת שווים פי שלוש מזה שהיה בעבר.
* הביקוש מצד חברות גדולות וספקי ענן דחף את היצרנים לצמצם אספקה, מה שהוביל למחסור.

2. כיצד זה משפיע על Internet Archive
מדד | ערך | נפח האחסון
---|---|---
נפח אחסון | ~210 PB |
זרימת נתונים יומית (Wayback Machine) | ~100 TB |
* הבינה המלאכותית חיזקה את העומס: מודלים מתאמנים על קבוצות נתונים עצומות, שנלקחות לעיתים מארכיונים.
* הדיסקים האידיאליים – 28–30 TB HDD – כמעט לא נמצאים למכירה או שווים במחירים גבוהים מדי.
* הארגון חייב לחפש חסויות ולקבל רק ייעוץ מהקהילה.

3. בעיות Wikimedia
* הפלטפורמה מכילה מעל ל‑65 מיליון מאמרים – זה דורש משאבים חישוביים גדולים ולוח תקציב מפולח בקפידה.
* קושי מתעורר ב:
* רכישת זיכרון ודיסקים;
* אספקת שרתים;
* תכנון הזמנות עתידיות.

4. הקשות בארכיון
* מודלים שפה גדולים של AI משתמשים בקבוצות נתונים עצומות, שנאספות לעיתים באופן בלתי חוקי.
* בעלי אתרים חוסמים גישה למשאביהם, מבלי להבדיל בין "מתקפים" ל-"שירותים מוסמכים" שמאגרו נתונים לצורך לימוד.
* כתוצאה מכך:
* חובבים קטנים נאלצים לקצץ או לעצור עבודה;
* המתנה להתייצבות מחירי הדיסקים.

סיכום
עליית המחיר והמחסור בדיסקים קשיחים יוצרים מחסומים חמורים לארכיונים ללא מטרות רווח. ללא מקורות מימון חדשים וטכנולוגיות נגישות יותר, שמירת היסטוריית האינטרנט עלולה להפוך למעשית בלתי אפשרית.