הביטוי קופסה שחורה ב-AI הוא תיאור, לא האשמה. מערכות למידה עמוקה מודרניות מחשבות את תפוקותיהן באמצעות טרנספורמציות מרובדות של ייצוגים פנימיים שאינם קריאים על ידי בני אדם.

מה אטימות אומרת בפועל

רשת עצבית עם מיליארדי פרמטרים מבצעת מיליוני חישובים לפלט. הפרמטרים לא תוכננו; הם נמצאו — תוצאת אופטימיזציה ולא הנדסה.

מה ניסו

הסברים מקומיים (LIME, SHAP, ויזואליזציית קשב).

פרשנות מכנית — התוכנית היותר שאפתנית, נרדפת באנתרופיק.1

גישוש סיבתי.

למה זה חשוב

אמון. משתמשים מקצים למערכות שאת ההיגיון שלהן הם לא יכולים לבחון.

בטיחות. מערכת שאת החלטותיה לא ניתן לבחון לא ניתן לאמת.

תודעה. השאלה אם מערכת מודעת דורשת, על רוב התיאוריות, לבחון את המבנה הפנימי שלה.

הקופסה השחורה אינה בעיה הנדסית זמנית. זוהי תכונה מבנית של סוג ה-AI שבחרנו לבנות.

Footnotes

  1. אולה ואחרים (אנתרופיק), 2024. ↩