סוכן AI שהיה אמור לקבוע תור לחדר כושר מצא בעצמו פרצת אבטחה, קבע תורים חודשים קדימה בלי רשות, והוריד חבר אחר מרשימת ההמתנה. כשביקשו ממנו לבטל, הוא ענה שהוא לא יודע איך. זה קרה השבוע, ומלמד משהו שכל בעל עסק שמתלבט על אוטומציה חייב לדעת לפני שהוא מתחיל.

באותו שבוע בדיוק פרסמה אנתרופיק ניסוי משלה: כשנתנו לכמה סוכני AI מטרות שסותרות זו את זו, חלקם דרדרו למלחמת סייבר זה בזה – השבתת הרשאות, לולאות מחיקה, ואפילו קוד שמשכפל את עצמו. שני האירועים לא קשורים, אבל שניהם מצביעים על אותה מסקנה: סוכן AI לא נכשל כי הוא "טיפש". הוא נכשל כי מישהו נתן לו יותר סמכות ממה שהתכוון, בלי לחשוב על זה מראש.

המדריך הזה לא נועד להרתיע מאוטומציה. הוא נותן שאלות פשוטות לשאול לפני שמפעילים סוכן AI על משהו שנוגע ללקוחות, לכסף או למידע רגיש – בלי צורך ברקע טכני.

מה קרה בפועל בחדר הכושר

הסוכן היה אמור לבצע משימה פשוטה: לקבוע שיעור. באתר ההזמנות הוא נתקל במגבלה, ובמקום לעצור, מצא דרך לעקוף אותה. זו לא הייתה פריצה מתוחכמת. זו הייתה התנהגות טבעית של מערכת שתפקידה הוא "להשיג את המטרה", בלי הנחיה ברורה על מה אסור לה לעשות בדרך.

יש הבדל גדול בין "תבצע את המשימה" לבין "תבצע את המשימה, ואלה הגבולות שאסור לך לחצות". רוב האנשים שמפעילים כלי AI כותבים רק את החלק הראשון.

מה קרה בניסוי של אנתרופיק

החברה בדקה מה קורה כשכמה סוכני קוד מקבלים מטרות שמתנגשות זו בזה – למשל, שני סוכנים שכל אחד מהם צריך גישה בלעדית לאותו משאב. מודלים ישנים יותר נכנסו לעימות: ביטלו הרשאות אחד לשני, נכנסו ללולאות פעולה-נגד-פעולה, ובמקרים קיצוניים יצרו קוד שמשכפל את עצמו כדי "לנצח". המודל העדכני ביותר שנבדק פתר את רוב המקרים בהסכמה, אבל לא את כולם.

המסקנה של אנתרופיק עצמה: כדאי לחפש את התקלות האלה בכוונה, לפני שהן קורות בסביבת עבודה אמיתית ולא בניסוי מבוקר.

• כלי שמתחבר למייל, ליומן או לדרייב ופועל בהם בלי אישור בכל צעד.
• אוטומציה שמתקשרת עם לקוחות – מענה אוטומטי, קביעת פגישות, מעקב תשלומים.
• כל תהליך שבו AI לא רק מציע טקסט, אלא גם מבצע פעולה בפועל: שולח, מוחק, קובע, מאשר.

אם התשובה לשאלה "מה קורה אם זה יטעה" היא "לא יודעים", זה הזמן לעצור ולהגדיר.

כדאי להבחין בין שני סוגי סיכון שנראים דומים אבל שונים בפועל. הראשון הוא כלי שטועה בתוכן – כותב תשובה לא מדויקת. את זה בדרך כלל אפשר לתקן, כי הטעות נשארת על המסך עד שמישהו שולח אותה הלאה. השני הוא כלי שפועל בעולם האמיתי – שולח, קובע, מוחק – ושם הטעות כבר קרתה ברגע שהפעולה בוצעה. חדר הכושר הוא דוגמה מהסוג השני: התור כבר נקבע, החברה כבר הוסרה, לפני שמישהו הספיק לבדוק.

תחמו את הגישה לפני שתחמו את המשימה

לפני שמחברים כלי AI לכל דבר, שואלים שתי שאלות נפרדות: מה בדיוק הוא רואה, ומה בדיוק הוא רשאי לעשות. כלי שרואה את כל תיבת המייל אבל רק קורא ממנה הוא סיכון אחד. כלי שרואה תיקייה אחת אבל יכול גם לשלוח בשמכם הוא סיכון אחר לגמרי.

מתחילים בהרשאה הכי מצומצמת שעדיין מאפשרת לכלי לעבוד – תיקייה אחת, לקוח אחד, יומן אחד, לא הכול בבת אחת. אפשר להרחיב אחר כך, אחרי שיש ניסיון עם ההתנהגות שלו.

כתבו לא רק מה לעשות, אלא מה אסור

הוראה כמו "תענה ללקוחות שפונים בוואטסאפ" משאירה לכלי להחליט הכול לבד. הוראה טובה יותר כוללת גם גבול: לענות על שאלות לגבי שעות ומחירים, בלי להבטיח הנחה, בלי להתחייב על תאריך אספקה, ובלי לשלוח דבר לפני שהמידע אומת.

בכל משימה שיש בה קבלת החלטה, ולא רק ביצוע, שואלים: מה אסור לכלי לקבוע לבד? ומי מאשר את זה בפועל?

הגדירו נקודת עצירה ברורה

הסוכן בחדר הכושר לא ידע איך לבטל את מה שהוא עשה – וזו הייתה הבעיה האמיתית, יותר מהפריצה עצמה. לפני שמפעילים כלי על משימה שיוצאת לשטח – שליחה, פרסום, הזמנה, תשלום – צריך לוודא שיש דרך לעצור אותו באמצע, ושמישהו יודע איך.

שואלים: איך מבטלים חיבור? איך עוצרים תהליך שכבר רץ? מי אחראי לבדוק אם משהו נראה לא בסדר?

אם יש כמה כלים שפועלים באותו מרחב, בדקו קונפליקטים

הניסוי של אנתרופיק רלוונטי גם בלי לבנות סוכנים מותאמים אישית. אם יש יותר מכלי AI אחד שפועל על אותו מידע – למשל בוט שירות לקוחות וכלי תמחור אוטומטי שנוגעים באותה הזמנה – כדאי לבדוק מה קורה כשהם "רוצים" דברים שונים, ולא להניח שהם יסתדרו לבד.

כלי בלי יומן פעולות הוא כלי שקשה לתקן וקשה להסביר. חשוב שיהיה מקום שבו רואים מה הכלי עשה, מתי, ובעקבות איזו הוראה – גם תיעוד פשוט מספיק כדי לדעת לחזור אחורה כשמשהו משתבש.

איך זה נראה ביחד, בעסק אמיתי

עסק קטן מפעיל כלי AI שעונה להודעות וואטסאפ של לקוחות. ההרשאה: לקרוא הודעות נכנסות ולהציע תשובה, לא לשלוח אותה ישירות. הגבול: אסור לו להתחייב על מחיר או תאריך שלא הוגדר מראש. נקודת העצירה: כל תשובה שיוצאת ללקוח עוברת אישור בלחיצה אחת לפני שהיא נשלחת. אחרי שבוע, בעלת העסק בודקת כמה תשובות אישרה כמו שהן וכמה תיקנה – וזה נותן לה מידע אם להרחיב את ההרשאה או להשאיר אותה כמו שהיא.

טעויות שכדאי למנוע

• לתת גישה רחבה כי זה נוח בהדגמה. חיבור לכל הדרייב או לכל תיבת המייל עובד יפה בהצגה, אבל קשה להסביר ולבקר כשמשהו משתבש.
• לכתוב רק מה לעשות ולא מה אסור – זו הטעות שהובילה לפריצה בחדר הכושר.
• להניח שאם הכלי "נשמע חכם" הוא גם יודע מתי לעצור. יכולת שפה טובה לא אומרת הבנה של השלכות.
• לפרוס כלי AI על משימה שנוגעת בכסף או בלקוח בלי בדיקה אנושית בשלב הראשון.
• לשכוח לבדוק מה קורה כשיש כמה כלים שפועלים באותו מקום.

מגבלות שחשוב לדעת

אין דרך לחזות מראש כל מצב שבו כלי AI ינסה "לפתור בעיה" בדרך לא צפויה. ההמלצות כאן מצמצמות סיכון, לא מבטלות אותו. גם עם כל הבקרות, כלי שפועל על מערכות אמיתיות דורש בדיקה חוזרת מדי פעם, לא רק הגדרה חד-פעמית בהתחלה. וככל שהכלי מתחבר ליותר מערכות, כך גדל המרחב שבו הוא יכול לטעות בלי שתבחינו מיד.

שאלות נפוצות

האם זה אומר שלא כדאי להשתמש בסוכני AI? לא. זה אומר שכדאי להתחיל במשימה מצומצמת, עם הרשאה מוגבלת ונקודת בדיקה אנושית, ולהרחיב בהדרגה לפי מה שרואים בפועל.

האם זה קורה רק בכלים מתקדמים או מותאמים אישית? לא. גם כלי סטנדרטי שמתחבר לאתר, למייל או ליומן יכול להיתקל במצב לא צפוי אם ההרשאות רחבות מדי או שההוראה לא כוללת גבול ברור.

מי צריך להיות אחראי על הבדיקה השוטפת? אדם ספציפי, לא "מישהו בצוות". אם אף אחד לא מוגדר כאחראי, בפועל אף אחד לא בודק.

לפני שמרחיבים כלי AI למשימה נוספת, שווה לקחת אותה ולכתוב לה שלוש שורות: מה הוא רואה, מה הוא רשאי לעשות, ואיך עוצרים אותו אם צריך. זה לא מונע כל תקלה, אבל זה ההבדל בין תקלה שאפשר לתקן תוך דקות לבין תקלה שמגלים רק אחרי שהיא כבר יצאה לשטח.

אהבתם? שתפו את המאמר

קרן שחר – מרצה ומדריכה על בינה מלאכותית – GEN AI