מקור חברת מקינזי (McKinsey)
רקע: המעבר מאימון להיסק
עד כה, עיקר ההשקעות בחישוב עבור בינה מלאכותית התמקד באימון המודלים. אולם, המאמר מציין כי כעת מרכז הכובד עובר להיסק – התהליך השוטף של הרצת מודל מאומן כדי לענות על שאילתות משתמשים. בעוד שעלות שאילתה בודדת היא קטנה, בקנה מידה רחב (מיליארדי שאילתות ביום), העלויות הופכות למכריעות עבור הכדאיות הכלכלית של יישומי AI. בשנת 2026 לבדה, ארבע חברות הענק (אמזון, גוגל, מטא ומיקרוסופט) צפויות להשקיע מעל 700 מיליארד דולר בתשתיות AI.
מדדי המפתח: עלות ואנרגיה לכל "טוקן"
התחרותיות בתחום תשתיות ה-AI תלויה כעת ביעילות שבה מערכות ממירות כוח, זיכרון ותקשורת לתוצאות. שני המדדים המגדירים את הכלכלה של ה-AI הם:
עלות לכל טוקן (Cost per token): קובעת האם ההיסק כדאי מבחינה מסחרית.
אנרגיה לכל טוקן (Energy per token): קובעת האם ניתן להגדיל את קנה המידה של המערכת מבחינה פיזית.
ארבעת המנופים הטכנולוגיים המרכזיים להוזלת עלויות
המאמר ניתח 13 טכנולוגיות וזיהה ארבע בעלות הפוטנציאל הגבוה ביותר להפחתת עלויות (עד פי 10 לכל אחת, ובשילובן אף פי 100):
אופטימיזציה של מודלים: (Model Optimization) זהו המנוף החזק ביותר לטווח הקצר. הוא כולל טכניקות כמו קוונטיזציה (הפחתת הדיוק המספרי של משקולות המודל כדי לחסוך בזיכרון) וגיזום (הסרת רכיבים פחות חשובים במודל.( טכניקות אלו יכולות להפחית את העלות לטוקן ב-85% עד 95%.
מארזים מתקדמים בתלת-ממד (3D Advanced Packaging) :שימוש בטכנולוגיית "Hybrid Bonding" לחיבור ישיר וצפוף בין שבבי זיכרון ללוגיקה. הדבר מאפשר לקרב את הזיכרון למעבד, מקצר את נתיבי התקשורת ומפחית את האנרגיה הנדרשת להעברת נתונים. פוטנציאל הפחתת עלות: 80% עד 90%.
סיליקון מותאם אישית: (Custom Silicon / ASICs) פיתוח שבבים ייעודיים (כמו ה-TPU של גוגל או ה-Inferentia של( AWS המותאמים ספציפית למשימות AI ולא לשימוש כללי. תכנון משותף של החומרה והתוכנה יכול להוביל לחיסכון של 70% עד 80% בעלויות.
אופטיקה משולבת במארז (Co-packaged Optics – CPO) :טכנולוגיה המשלבת מנועים אופטיים ישירות בתוך מארז המעבד, במקום להשתמש בכבלי נחושת או מודולים חיצוניים. הדבר פותר את צוואר הבקבוק של העברת נתונים במהירויות גבוהות בין שרתים ומפחית את צריכת האנרגיה להעברת נתונים ב-50% עד 65%.
שיקולים נוספים ואתגרים
התפתחות הארכיטקטורה: מעבר למודלים חסכוניים יותר כמו Mixture of Experts (MoE) מפחית את דרישות החישוב והזיכרון בזמן ההיסק.
פער זמני הפיתוח: בעוד שמודלים של AI מתפתחים בתוך חודשים, תכנון וייצור שבבים לוקח שנים. כדי לצמצם פער זה, התעשייה עוברת לשימוש ב"צ'יפלטים" (Chiplets) ובתכנון שבבים בסיוע AI.
השלכות גיאופוליטיות: שיפור היעילות ברמת התוכנה והאלגוריתמים עשוי להפחית את התלות בטכנולוגיות ייצור שבבים מהדור המתקדם ביותר, מה שעשוי להעניק יתרון למדינות בעלות יכולות ייצור בוגרות יותר (כמו סין).
העתיד הרחוק (מעבר ל-2030)
כדי להשיג שיפורים מעבר למה שמאפשרת טכנולוגיית הסיליקון הנוכחית (CMOS), נחקרים כיוונים רדיקליים יותר:
חישוב פוטוני: שימוש באור במקום באלקטרונים לביצוע חישובים.
ארכיטקטורות נוירומורפיות: מערכות המחקות את פעילות המוח ופועלות רק כאשר יש אות (Event-driven), מה שחוסך באנרגיה.
מחשוב קוונטי: בעל פוטנציאל לפתרון בעיות אופטימיזציה מורכבות, אם כי יכולתו להאיץ היסק של רשתות נוירונים היא עדיין שאלה פתוחה.
לסיכום, המאמר קובע כי השלב הבא בתחרות ה-AI יוכרע לא רק על ידי חוזק המודלים, אלא על ידי היכולת לספק את ה"תבונה" הזו בעלות מינימלית ובקנה מידה רחב
