01
להבין אילו התרעות חשובות
מחשבים כמה מההתרעות מצביעות על מתקפה אמיתית לפי שכיחות המתקפות, וכמה בדיקות הצוות יוכל לבצע בפועל.
קורס מעשי וחינמי · בקצב שלכם · בהכנה
הגנה עלסוכני AI
למדו לבנות סוכנים שאתם יודעים להגן עליהם: להגביל פעולות בכלים, לבדוק הגנות ולחקור כשלים, דרך קוד שתכתבו בעצמכם. למפתחים, למהנדסי ML ולאנשי דאטה שרוצים לקחת אחריות גם על האבטחה של הסוכן. לא נדרש רקע באבטחת מידע.
לימודבקצב שלכםמודולים22הקורסחינםסטטוסבהכנה
01מה תלמדו
מהיכרות עם מודלים להגנה על המערכת.
אתם כבר עובדים עם מודלים, נתונים ואי־ודאות. בקורס תלמדו להשתמש בניסיון הזה כדי להחליט אילו פעולות דורשות הגנה, אילו התרעות מצדיקות בדיקה ומתי יש מספיק ראיות כדי לסמוך על ההגנה שבניתם.
02
לבחור סף שאפשר לעבוד איתו
בודקים כמה מתקפות זוהו וכמה פעולות תקינות נחסמו. בוחרים סף בהתאם למספר התרעות השווא שהצוות יכול לשאת.
03
לבדוק על המידע שהסוכן פוגש
בודקים על מסמכים, קריאות לכלים, JSON ולוגים. מגלים מה משתנה כשהנתונים בפרודקשן שונים מנתוני הבדיקה.
04
לבחון מדיניות לפני שמפעילים אותה
מריצים מדיניות חדשה על טראפיק מוקלט ובמצב צל, שבו מתעדים החלטות בלי לחסום פעולות. כך אפשר להעריך את השפעתה מראש.
02נסו בעצמכם
לזהות מתקפות זה רק חצי מהעבודה.
נניח שקלאסיפייר מזהה 99% מהמתקפות ומתריע בטעות על 1% מהקריאות התקינות. האם הוא שימושי? שנו את שכיחות המתקפות ואת מספר הקריאות וראו מה המשמעות עבור הצוות שיצטרך לבדוק את ההתרעות.
שיעור ההתרעות שמצביעות על מתקפה אמיתית
1%התרעות ביום
מתקפות אמיתיות שזוהו
מתקפה אמיתיתהתרעת שווא
03מה תבנו
שכבת אבטחה לסוכן AI, בקוד שלכם.
מתחילים מסוכן קטן ובונים סביבו מנגנוני זיהוי, אכיפה, בדיקה וטיפול באירועים. עובדים עם כלים פתוחים לשימוש כללי, כדי שתוכלו לקרוא את הקוד, לשנות אותו ולהסביר כל החלטה.
- M01סוכן שמפעיל כלים ומתקפה שאפשר לשחזר
- M03שער בקרה שבודק קריאות לכלים לפני הביצוע
- M04זיהוי הזרקת פרומפט בעזרת תבניות וקלאסיפייר מאומן
- M08מערך בדיקות שמודד אילו מתקפות זוהו ואילו משימות תקינות נחסמו
- M11מעקב אחר מידע לא מהימן והגבלת ההשפעה שלו על פעולות הסוכן
- M12הרשאות ממוקדות, סביבת הרצה מבודדת ומנגנון לעצירת הסוכן
- M16יומן ביקורת חתום וכלים להרצה חוזרת ולחקירת החלטות
- M18נוהל תגובה לאירוע שנבדק מול מתקפה מוקלטת
04מהמעבדה לפרודקשן
שיעור שגיאה קטן. עומס עבודה גדול.
בונים ומודדים במעבדה, ואז מחשבים מה יקרה כשהיקף הפעילות יגדל. מביאים בחשבון זמן בדיקה, התרעות שווא וקיבולת, כדי להבין אם אפשר לתפעל את ההגנה שבניתם.
דוגמה להמחשה
101התרעות מתוך 10,000 קריאותכשיש מתקפה אחת לכל 10,000 קריאות, קלאסיפייר שמזהה 99% מהמתקפות ומתריע בטעות על 1% מהקריאות התקינות יפיק כ־101 התרעות. רק כאחת מהן תצביע על מתקפה אמיתית.
ב־50 מיליון קריאות ביום
500,000התרעות שווא ביום, בקירובבאותה שכיחות מתקפות ובאותו שיעור התרעות שווא, בדיקה של 30 שניות לכל התרעת שווא תדרוש כ־520 ימי עבודה של שמונה שעות, מדי יום. מהחישוב הזה אפשר לגזור תקציב תפעולי.
05תוכנית הלימודים
מהמתקפה הראשונה ועד טיפול באירוע.
22 מודולים ופרויקט גמר, כ־248 שעות בסך הכול. לומדים בקצב שלכם, בעברית או באנגלית. בכל מודול מתרגלים בקוד ומפיקים מדידות שתדעו להסביר. הקורס בהכנה; אפשר להצטרף לרשימת ההמתנה לעדכון על פרסום השיעורים הראשונים.
I
יסודות
- 00מבוא: החלטות אבטחה בתנאי אי־ודאות
- 01הקמת המעבדה ובניית סוכן קטן
- 02יסודות אבטחת מידע לאנשי ML ודאטה
- 03מבנה הסוכן ומשטח התקיפה שלו
II
מתקפות
- 04הזרקת פרומפט ועקיפת מגבלות המודל
- 05הרעלה, דלתות אחוריות וזיכרון של סוכנים
- 06מתקפות על פרטיות ופרטיות דיפרנציאלית
III
מדידה
- 07זיהוי איומים: שכיחות מתקפות, התרעות שווא ובחירת סף
- 08בדיקות מהימנות ושינויים בהתפלגות הנתונים
- 09בדיקות מול תוקפים שמסתגלים להגנה
- 10זיהוי חריגות בהתנהגות וברצף הפעולות
IV
אכיפה
- 11תכנון גבולות למידע לא מהימן
- 12זהות, הרשאות מינימליות ובידוד
- 13החלטות מדיניות ואישור אנושי
- 14אבטחת שרשרת האספקה: מודלים, חבילות וכלים
- 15מידע אישי: זיהוי, השחרה ומחיקה
V
תפעול
- 16יומני ביקורת, הרצה חוזרת והערכת מדיניות
- 17למידת מדיניות מטראפיק תוך שמירה על האבטחה
- 18ניטור ותגובה לאירועים
- 19ממשל, ביקורת ורגולציה למהנדסים
- 20גילוי סוכנים, קישור זהויות והערכת הכיסוי
- 21תפעול מנגנוני בקרה: השהיה, קיבולת וכשלים
פרויקט גמרעכשיו בודקים את התכנון שלכם.בונים שער בקרה לתרחיש חדש ובודקים אותו מול מתקפות שלא ראיתם מראש. מסבירים איך הוא יתפקד בהיקף גדול, ואז כותבים דוח בדיקות תקיפה על עבודה של משתתף אחר.
06לימוד והערכה
הלימוד חינם. התעודה לבחירתכם.
כל השיעורים, המעבדות והבדיקות האוטומטיות יהיו בחינם. למי שיבחר בכך, ההערכה המסכמת והתעודה יהיו בתשלום ויכללו בדיקה אישית ומשוב כתוב.
חינם
הקורס המלאאין צורך בחשבון כדי לקרוא.
- כל השיעורים, המעבדות והבדיקות האוטומטיות
- עברית ואנגלית
- ערכת התחלה לכל מודול
- חומרי לימוד שאפשר לשמור ולחזור אליהם
בתשלום
הערכה מסכמת ותעודהלבחירתכם. המחיר יפורסם עם פתיחת הקורס.
- בדיקה אישית של פרויקט הגמר
- משוב כתוב ומפורט
- תעודה חתומה שניתן לאמת
- אפשרות לעמוד ציבורי עם קישור לעבודה שנבדקה
07לפני שנרשמים
שאלות נפוצות.
למי הקורס מתאים?
למפתחים, למהנדסי ML ו־AI יישומי, למדעני נתונים ולאנליסטים שמחברים מודלים למידע ולכלים. הדגש הוא על בנייה ובדיקה של מנגנוני הגנה, מהקריאה לכלי ועד הטיפול באירוע.
צריך רקע באבטחת מידע?
לא. צריך להכיר Python ואת יסודות הסטטיסטיקה או למידת המכונה. את מושגי האבטחה לומדים מהיסוד. מודול הכנה חינמי של ארבע שעות מכסה את יסודות הווב.
איזה מחשב צריך?
מחשב נייד עם 8 GB זיכרון לפחות, עם macOS, Linux או Windows עם WSL 2. אין צורך ב־GPU. מודול ייעודי ילווה את התקנת Docker ואת הקמת המעבדה.
הקורס מלמד מוצר אבטחה מסוים?
אתם בונים את הרכיבים בכלים פתוחים לשימוש כללי. השיעורים מסבירים את הבחירות ומציגים חלופות, כדי שתוכלו להבין את הגישה ולהתאים אותה לסביבת הפיתוח שלכם.
מה בחינם ומה בתשלום?
כל השיעורים, המעבדות והבדיקות האוטומטיות יהיו בחינם. רק ההערכה המסכמת והתעודה יהיו בתשלום, למי שיבחר בכך. אפשר ללמוד את כל החומר בלי לשלם על ההערכה.
באילו שפות אפשר ללמוד?
בעברית ובאנגלית. הקוד, הפקודות ושמות הכלים נשארים באנגלית בשתי הגרסאות.
מתי אפשר להתחיל?
הקורס בהכנה. הצטרפו לרשימת ההמתנה כדי לקבל עדכון כשהמודולים הראשונים יתפרסמו. עדיין אין תאריך פתיחה לפרסום.
הצוות שלנו רוצה להתחיל קודם. מה אפשר לעשות?
אפשר להזמין בנפרד סדנה מעשית של ארבע שעות, לעד 15 משתתפים, אצלכם או בזום. בסדנה מתרגלים תקיפה, הגנה ומדידה. אין צורך ללמוד בקורס לפניה.
קבלו עדכון
כשהקורס נפתח
08 רשימת המתנה
הצטרפו לרשימת ההמתנה לקבלת מייל כשהמודולים הראשונים יתפרסמו, ומדי פעם עדכון על התקדמות הקורס. הכתובת תשמש רק לקורס ולא תועבר לאיש. להסרה מהרשימה, כתבו ל־shimon@defendingaiagents.com.