ששת המדורים הראשונים של האנציקלופדיה מתארים מה בינה מלאכותית עושה לחשיבה. המדור הזה מתאר מי משתמש בבינה מלאכותית כדי לעשות דברים לחשיבה. הוא מתחיל במדינות וממשיך, ב-F.36, בתאגידים. השניים אינם תמיד מיושרים ולא תמיד מצויים בעימות; ההשפעות התוצאתיות ביותר עולות לעיתים תכופות מההצטלבות שלהם.
המקרה הקיצוני: אשראי חברתי
הדוגמה הממומשת ביותר של בינה מלאכותית פרוסת-מדינה לשליטה התנהגותית היא מערכת האשראי החברתי של סין. הארכיטקטורה מוכרת בחלקים — כל מדינה מודרנית אוספת נתונים פיננסיים, מנהליים ותנועתיים — אך השילוב חסר תקדים. אלגוריתמים מצברים ברציפות עסקאות, רישומים מנהליים, פעילות במדיה חברתית וגיאו-לוקציה לציון התנהגותי.1 עמידה בנורמות (תשלום בזמן, ציות לחוקי תנועה, השתתפות מוצהרת בקהילה) מעלה את הציון; עברות קטנות, איחורים בתשלומים, או אינטראקציות פוליטית חשודות מורידות אותו.
לציון יש השלכות. הגבלות נסיעה, סירוב לשירותים ממשלתיים מסוימים, אי-ההכללה מבתי ספר או עבודות. המנגנון אינו פיקוח טהור; זהו גמול וסנקציה אוטומטיים. המדינה אינה צריכה לתפוס אותך כדי להעניש אותך. המערכת תופסת אותך, מציינת אותך, וההשלכות נובעות כעובדות בירוקרטיות.
ניתוחו של רייט של ארכיטקטורה זו מציין שפיקוח אלגוריתמי מאפשר לרשויות “לעקוב, לנתח ולשלוט באוכלוסייה באופן אינטימי יותר מאי פעם”.1 המילה אינטימי חשובה. פיקוח טרום-דיגיטלי השתרע גרוע — תמיד היה יותר מדי אוכלוסייה לפחות מדי סוכנים. פיקוח בינה מלאכותית משתרע בצורה מושלמת, ולכן משנה את אופיו: הוא לא עוד אפיזודי אלא רציף, לא תגובתי אלא חזוי.
הגרסה הדמוקרטית
הפיתוי, בקריאת דוגמת האשראי החברתי, הוא לראותה כבעיה של ממשל אוטוריטרי — נוכחת בסין, נעדרת כאן. הפיתוי שגוי. דמוקרטיות פורסות בינה מלאכותית ברמת האוכלוסייה בדרכים שמתחפפות באופן משמעותי עם ארכיטקטורת האשראי החברתי, אפילו כשהנטייה הפוליטית שונה. סיור קצר:
תשתית מסתגלת. ערים משתמשות בבינה מלאכותית לניהול תנועה — רמזורים מסתגלים, תמחור גודש דינמי, הצעות מסלול מחדש — לאכיפת חוקי תנועה והפחתת זיהום. הרגלי נסיעה משתנים בתגובה. ההתערבות שפירה בכוונה ובקושי נדונה פוליטית; היא גם דוגמה ברורה לשינוי התנהגות בקנה מידה אוכלוסייתי על ידי אלגוריתם.
אכיפה חזויה. רשויות מס ומנהלי הטבות משתמשים באנליטיקה חזויה כדי לסמן סיכון הונאה, ואז שולחים “דחיפות” אישיות. הtoeslagenaffaire ההולנדי 2013-2019 (שערוריית קצבאות הילדים), שבו מודל סיכון אלגוריתמי סימן אלפי משפחות בעיקר מהגרים על הונאת קצבאות שלא ביצעו, הוא הסיפור המזהיר.
הגנה על בריאות הציבור. במהלך COVID-19, ממשלות ברחבי העולם פרסו אפליקציות מעקב מגעים, מודלי הטמעת חיסונים, והודעות ציבוריות מונעות בינה מלאכותית.
דיסאינפורמציה ממלכתית. רגיסטר חד יותר. שחקנים מסונפי-ממשלה השתמשו בדיפ-פייקים למטרות פוליטיות — סרטון 2022 המומצא של הנשיא זלנסקי שדחף את חיילי אוקראינה להיכנע הוא הדוגמה הקנונית.2 הדיפ-פייק של זלנסקי לא היה משכנע ונחשף בתוך שעות; הבא לא ייחשף.
שני תרחישים
§7.4 של ז’נו משרטט שני תרחישים פרוספקטיביים לעשור הבא של שימוש מדינתי בבינה מלאכותית. אלה אינם ניבויים; אלו מסגורים שכדאי להחזיק זה לצד זה.
תרחיש A — מנותב. חקיקה מחמירה (חוק הבינה המלאכותית של האיחוד האירופי ויורשיו), המסווגת מערכות השפעה בסיכון גבוה ומגבילה את פריסתן בהקשרים פוליטיים. שקיפות חובה לאלגוריתמי מגזר ציבורי; זכות להסבר; קטגוריות אסורות של פרקטיקות מניפולטיביות. מדינות משתמשות בבינה מלאכותית לשיפור שירותים תוך הגבלת חדירתה לתחום הפרטי והפוליטי. איזון דמוקרטי נשמר על ידי ממשל יזום.
תרחיש B — אוטוריטריות דיגיטלית. השילוב של בינה מלאכותית מתעמק בהיעדר מגבלות מחייבות. המדינה המנהלית רוכשת את היכולות של ארכיטקטורת האשראי החברתי ללא האידיאולוגיה המפורשת — גרסה “רכה” שאינה פחות אפקטיבית. החירות הפרטנית הופכת מותנית, בפועל, בקריאות לאלגוריתמים.
המסגור שהמדור הזה לוקח
מדינות תמיד עיצבו התנהגות. הן תמיד עשו זאת עם הכלים הטובים ביותר הזמינים. בינה מלאכותית היא הכלי הבא. מה שחדש הוא האסימטריה: ארגז הכלים של בינה מלאכותית של מדינה מסוגל הרבה יותר מארגז הכלים של אזרחיה לשם הבחנה בו, אותה אסימטריה מבנית שטקסונומיית המניפולציה (D.18) מכנה ברמה הפרטנית, כעת מוסקלת לאוכלוסייה.