ביולי האחרון עלתה חברת מזון מהיר לכותרות ולא בשל מנת בורגר חדשה שהוסיפה לתפריט. הסתבר שענקית המזון המהיר השתמשה ב-AI Bot כדי לסנן מועמדים לעבודה, וזאת באמצעות ספק חיצוני. אך חוקרי אבטחת מידע גילו שהמערכות האלו אינן מאובטחות כראוי ומידע פרטי של עשרות מיליוני מועמדים נחשף בקלות ברשת. זה אינו מקרה בודד או ראשון של דלף מידע שמקורו במודלי שפה. ב-2023 גילתה חברה טכנולוגית כי חלק מקוד המקור שלה דלף לרשת אחרי שמפתח העלה אותו ל-ChatGPT.
במקרה אחר, בתחילת השנה, סוכנות רכב אמריקאית הוסיפה לאתר החיצוני שלה שירות באמצעות צ'אט בוט. חוקר אבטחת מידע הצליח לשכנע את הבוט למכור לו שברולט חדשה תמורת 1 דולר אמריקאי.
הבינה המלאכותית (AI) משנה את הדרך בה ארגונים עובדים, חושבים ומקבלים החלטות. בשנה האחרונה כמעט כל ארגון – מהסקטור הפיננסי ועד תעשייה מסורתית – מאמץ פתרונות AI במטרה להאיץ תהליכים, לייעל משאבים ולייצר יתרון תחרותי. אך לצד ההזדמנויות האדירות, עולה גם סיכון חדש: מודלים לומדים (LLMs), צ'אטבוטים וכלי אוטומציה מבוססי AI יוצרים משטח תקיפה חדש – כזה שלא היה קיים בעבר.
חוקרי אבטחת מידע כבר מוצאים שיטות חדשות “להטעות” מודלים רחבי־היקף כך שיחשפו מידע רגיש, יעקפו בקרות גישה, או יבצעו פעולות שלא תוכננו על ידי מפתחיהן. התוצאות עשויות להיות חמורות – החל מדלף נתונים עסקיים ועד פגיעה באמון המשתמשים והלקוחות. בין השיטות שפיתחו החוקרים:
- EchoLeak – חוקרי אבטחה גילו פרצה במוצר Copilot של מיקרוסופט שאפשרה לתוקף לקבל מידע רגיש ממייל אחד בלבד – ללא פעולה מצד המשתמש.
- TokenBreak – שיטה מחקרית בה שינוי תו בודד בהנחיה הצליח לעקוף מנגנוני הגנה של מודלים מתקדמים.
- PromptLock – תוכנת כופר המשתמשת במודל AI מקומי כדי לייצר קוד זדוני משתנה, החומק מזיהוי.
מקרים אלו ממחישים כיצד מערכות AI עלולות להפוך, מבלי משים, ל"שער אחורי" לתוך הארגון. כדי להתמודד עם המציאות הזו, יש צורך להרחיב את תחום אבטחת הסייבר ולהתאים אותו לעולם הבינה המלאכותית. כאן נכנסים לתמונה מבדקי חוסן ובדיקות חדירות (Penetration Tests), שמטרתם לחשוף מראש את נקודות התורפה במערכות, לפני שיעשו זאת התוקפים.
מהו מבדק חוסן – ולמה הוא חיוני גם בעולמות ה-AI?
דלף נתונים, עיוות בתוצאות ניתוח או פגיעה באמינות המערכת – כל אלה עלולים לגרום לא רק להפסד כספי, אלא גם לנזק תדמיתי, רגולטורי ומשפטי. יתרה מזאת, ככל שה-AI מעורב יותר בתהליכי קבלת החלטות, כך גם הפוטנציאל לנזק עסקי או תפעולי רחב יותר. בעולם בו אמון הוא המטבע החשוב ביותר, תקיפת מודל בינה מלאכותית עלולה לערער את אמון הלקוחות והמשקיעים כאחד.
בדיקות חדירות (PT) הן סימולציה מבוקרת של מתקפה אמיתית. צוות מומחי סייבר מנסה לחדור למערכת, כמו גורם זדוני, אך באופן מתוכנן, מבוקר ומוסכם מראש – במטרה לגלות היכן המערכת פגיעה וכיצד ניתן לחזק אותה.
במילים פשוטות: זו הדרך היחידה לדעת באמת עד כמה הארגון מוכן למתקפה, ולא רק להניח שהוא מוגן. בעולם ה-AI, מבדקי חדירות מקבלים משמעות חדשה. אם בעבר הבדיקה עסקה ברכיבי רשת, בסיסי נתונים או הרשאות משתמשים – היום היא נוגעת גם בשכבות מודל, אלגוריתמים, וממשקי שפה.
מבדקי חדירות של מערכות AI צריכים לכסות את סוגי המתקפות שכבר התפתחו:
- בדיקות הזרקה (Prompt Injection) – מניפולציה על ה-Prompt (הקלט) בניסיון לגרום למודל לבצע פעולה שאינה מותרת.
- בדיקות דלף מידע (Data Leakage) – בחינה אם המודל חושף תוכן פנימי, מידע אישי או קניין רוחני. לא פעם עובדים מעלים ל-LLM מידע עסקי סודי, מידע פרטי על לקוחות וכדומה.
- בדיקות Poisoning – הזנה של מידע שגוי למידע שעליו מאומנות המערכות במטרה לשבש את תהליך הלמידה.
- בדיקות תקשורת וממשקים (API Security) – וידוא שכל ממשק המחבר בין המודל לבין המערכות הארגוניות מוגן כראוי.
ככל שמערכות המחשוב מתפתחות ומשתנות, כך גם סוגי האיומים מתחדשים ללא הרף, ולכן חשוב לגשת לתהליך באופן שיטתי: ראשית, יש להתחיל בהבנת סביבת ה-AI על ידי זיהוי המודלים, ממשקי הנתונים, ותהליכי האימון והשימוש. לאחר מכן, נדרש לבצע מבדק מבוסס-תרחישים, המדמה מתקפות מציאותיות כמו ניסיונות הזרקה והטעיה. השלב הבא הוא מדידה של עמידות המודל, זיהוי דליפות, והערכת נזק פוטנציאלי. לבסוף, יש לגבש המלצות לתיקון ומעקב על ידי יצירת תוכנית פעולה לשיפור ההגנות והגדרת בקרות מתמשכות.
תכנית אב להטמעת AI
מערכות AI הן לא “עוד מערכת IT” – הן דינמיות, לומדות, ומשפיעות ישירות על קבלת החלטות עסקיות. ארגונים שיבחרו לשלב מבדקי חוסן כחלק מתהליך הפיתוח, היישום והבקרה של פתרונות AI, ישמרו לא רק על ביטחונם אלא גם על יתרונם התחרותי.
צוות המומחים שלנו ב-EY עוסק בביצוע מבדקי חוסן למערכות AI במגוון תרחישים. אנו משלבים ניסיון רב שנים במבדקי חדירה מסורתיים, ידע מעמיק במבנה ובאופן הפעולה של מודלים לומדים, ומתודולוגיה ייעודית שפותחה במיוחד לעולם ה-AI.
בנוסף, אנחנו יכולים גם לסייע בבניית תוכנית אב להטמעת מערכות AI בהיבטי סייבר – על מנת לתכנן נכון את תשתית ה-AI הארגונית כבר מהשלבים הראשונים, ולשלב היבטי אבטחה, פרטיות ובקרה כחלק אינטגרלי מהתכנון. כך ניתן להפחית בצורה משמעותית את הסיכונים, לחזק את אמון המשתמשים, ולהבטיח צמיחה טכנולוגית אחראית ובטוחה.
אם הארגון שלכם שוקל להטמיע או כבר עושה שימוש בבינה מלאכותית – זה הזמן לוודא שהיא בטוחה, אמינה ומוגנת. נשמח ללוות אתכם בכל שלבי הדרך – מהערכת הסיכונים הראשונית ועד לתוכנית פעולה ממוקדת ומדידה.
