צללים קוגניטיביים

ב-2002 רוזנבליט וקייל ערכו מחקר. המתודולוגיה: לבקש מאנשים לדרג כמה טוב הם מבינים איך משהו עובד. אז לבקש מהם לכתוב את ההסבר. אז לדרג שוב.

הדירוגים ירדו בחדות. אנשים האמינו שהבינו. ניסיון הניסוח חשף את הפער. הם קראו לתופעה אשליית עומק הסברתי.¹

הגרסה של AI

המונח של האנציקלופדיה — צל קוגניטיבי: הפער בין מה שאנו חושבים שאנו מבינים על מערכת AI לבין מה שאנו באמת מבינים.

שטף. AI מודרני מייצר תפוקות בפרוזה שוטפת.

הסברים סבירים. AI מבקש להסביר את עצמו, מייצר הסבר סביר.

ברירות מחדל בטוחות. AI מודרני ברירת מחדל לתפוקות בטוחות.

למה זוהי הגרסה העמוקה של בעיית הקופסה השחורה

המאמר הקודם דן בקופסה השחורה ברמת אי-הבנה מתמטית. צללים קוגניטיביים הם הגרסה מצד המשתמש של אותה בעיה.

מה אפשר לעשות

לגרום למערכות להראות את חוסר הוודאות שלהן.

ללמד משתמשים לא לסמוך על שטף.