שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
מהן רשתות נוירונים ממוחשבות?
רשתות נוירונים (Neural Networks) הן רשתות מחשבים מתקדמות שמחקות את החשיבה האנושית.
נוירון במוח הוא תא עצב. זהו תא טיפש, ללא יכולת מרשימה בפני עצמו. את כוחו ויכולתו המדהימה לפתור בעיות מורכבות הוא קונה רק כשהוא שותף זעיר ברשת העצבית העצומה, שקוראים לה מוח.
למוח ולרשת נוירונים טכנולוגית שמחקה אותו יש את היכולת המדהימה לפתרון בעיות מורכבות. רשת נוירונים היא "רשת עצבית" מלאכותית, שמעתיקה את הפעילות של שכבות תאי העצב בניאו-קורטקס, האזור שתופס את רוב המוח האנושי.
בניאו קורטקס נעשית החשיבה שלנו. ב"רשת נוירונית" מחובר כל נוירון בסינפסות אל נוירונים נוספים. התקשורת בין הנוירונים היא באמצעות "פוטנציאלי פעולה" - מעין הבזקים, פעימות חשמליות, שעוברות בסינפסות בין נוירון, תא עצב, למשנהו והלאה אל הנוירון הבא ולאלה שאחריו.
מחקר רשתות הנוירונים עוסק בבניית מודלים וירטואליים של שכבות תאי העצב ובתחום זה עוסקים כיום צוותים מגוונים, שמורכבים ממדעני מוח, מדעני מחשב ותוכנה. רשתות מחשבים כאלה יוכלו בעתיד לבצע פעולות שהמוח יודע לבצע בקלות: לאסוף מידע, לנתחו ולהגיב לו בקבלת החלטות שאנו עושים אלפי פעמים ביום.
תחום הנוירו-מחשוב הוא אחד התחומים החשובים בעולם כיום. הוא יוביל בעתיד לדור מתקדם במיוחד של תוכנות חכמות. כבר היום רואים את האפשרויות של תוכנות-מוח שכאלה - מאפליקציות שלומדות את טעמנו האישי ומציעות לנו בגדים, אוכל, מוסיקה או ספרים שאנו אוהבים. בעתיד יותר ויותר טלפונים חכמים ילמדו הרגלים, תחביבים, העדפות וצרכים של המשתמש ויסייעו לו.
גם ברפואה משפרות רשתות עצביות את היכולות ומציעות השפעות נפלאות על היכולת לאתר סרטן עור מוקדם, לגלות טיפולים תרופתיים חדשים למחלות ועוד.
דמיינו מצלמות חכמות, שיודעות לזהות פורץ או מבקר תמים בביתנו, מערכות מחשוב שיזהו האקרים לעומת משתמשים תמימים שטעו, בידוק בטחוני שיזהה מפגים או עבריינים ומערכות צבאיות שיוודאו שכוחותינו יזהו וישמידו את כוחות האויב ולא את כוחותינו.
המלצה:
======
קראו באאוריקה בתגית "למידה עמוקה", על פיתוח מערכות הבינה המלאכותית שמתבססות על רשתות הנוירונים.
הנה רשתות הנוירונים הממוחשבות (מתורגם):
https://youtu.be/JrXazCEACVo
דרך לזהות בהן הפרעות נוירולוגיות (עברית):
https://youtu.be/Agrf1PPXSl8
רשתות הנוירונים שבמוחנו:
https://youtu.be/Gf5QEzZ9F3w
התהליך הכימי של מעבר המידע בין הנוירונים (מתורגם):
https://youtu.be/6Ra3il45vnE
כיום מפתחים רשת נוירונים שמחקה את יכולת הלמידה של תינוק:
http://youtu.be/VNNsN9IJkws
הסבר מדעי (מתורגם):
https://youtu.be/Z6xDuPOgT_Q
דרך שבה רשתות נוירוניות פועלות:
https://youtu.be/h52wgSsm57g
והפיתוח שלהם על ידי למידה מהביולוגיה והטבע:
https://youtu.be/JqMpGrM5ECo
מהם מודלי שפה גדולים, או LLM?
מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4 ואחרים.
את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.
יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.
מודל כזה הוא תת-תחום של למידה עמוקה ומבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.
עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".
#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.
למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.
ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.
#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.
הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.
מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.
מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.
אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...
כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".
הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):
https://youtu.be/X-AWdfSFCHQ
כך פורצת מלחמת עולם ה-AI הראשונה:
https://youtu.be/nJjuYTpHQEE
מהו LLM?
https://youtu.be/iR2O2GPbB0E
המודל השולט בינואר 2025 - DeepSeek R1 הסיני:
https://youtu.be/hupQ97Or3jw
השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):
https://youtu.be/NanvGTQeO-g
כך פועל מודל השפה הגדול LLM:
https://youtu.be/iR2O2GPbB0E
כך בנויים ופועלים מודלי השפה הגדולים:
https://youtu.be/5sLYAQS9sWQ
יש להם גם חסרונות:
https://youtu.be/Gf_sgim24pI
הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):
https://youtu.be/-NIsUKUnxhA?long=yes
הפרמטרים והטוקנים באימון מודלים כאלו:
https://youtu.be/r17HV0TzAWw?long=yes
ובאופן סטטיסטי - כך פועל LLM:
https://youtu.be/LPZh9BOjkQs?long=yes
מהו ומה היתרון של מודל שפה קטן, או SLM?
מודל שפה קטן (Small Language Model), ובקיצור SLM, הוא מודל מתמחה או מומחה, דגם קטן יותר ומזוקק, מה שהופך אותו להבטחה גדולה וממשית לצרכים עסקיים, בעולם האמיתי.
מודלים קטנים של שפה, או כמו שתרגום מכונה מכנה בטעות "מודלים של שפות קטנות", מאפשרים היום אימון בינה מלאכותית על ידע ספציפי לתחומים שונים ובכך להתאימם לתעשיות ספציפיות, משימות וזרימות עבודה תפעוליות.
SLM הוא קצת כמו סוס חזק ומהיר שיכול לבצע משימות ממוקדות, לעומת כרכרות LLM עמוסות, כבדות ולכן גם מוגבלות בתמרון.
שוב ושוב נשאלת השאלה האם יכולים מודלי שפה קטנים (SLMs) לנצח את ה-ChatGPTים או ה-Claudeים למיניהם, את האחים הגדולים והוותיקים, המצוידים, מאומנים ועתירי המשאבים מעולם ה-LLMs?
או במספרים - האם מודל של מיליארד בודד של פרמטרים (1B) יכול לגבור על היכולות של מודל עם 405B פרמטרים, יותר מפי 400 ממנו?
אז כן. בניגוד למודל שפה גדול של עולם ה-LLMs, שמעבד כמויות אדירות של ידע כללי, המודל הקטן מעולם ה-SLMs בנוי במחשבה על דיוק ויעילות. עלות הפעלתו היא נמוכה משמעותית, הוא דורש פחות כוח חישוב ובנוי כדי לספק תובנות רלוונטיות יותר לעסק מאשר מקביליו הגדולים והכלליים.
בעולם המודלים הגדולים של שפה כבר הסתבר שאופטימיזציה של החישובים ב-SLMs כאלה יכולה אכן לעלות את היכולות של הקטנים הללו על אלו של דגמים גדולים יותר, שמנסים ומצליחים להיות חכמים מכולם ויודעי-כל, אבל תפעולם יקר ומסורבל יותר והם לא יעמדו ביכולות ההתמחות של מודל קטן שלא מביט לצדדים ומרוכז רק במשימתו.
מחקרים שבחנו את היעילות של שיטה ששמה Compute-Optimal TTS, למשל, הראו ששיפור הביצועים של מודלים קטנים מאפשר לעלות בהם את הביצועים על אלו של דגמים גדולים יותר, במשימות מתמטיות כמו MATH-500 ו-AIME24 ובשיפור יכולות החשיבה של LLM.
#ביצועים, התמחות ואבטחת נתונים
לא מעט חברות וארגונים מבינים שהשאלה היא לא על איזה מודל בינה מלאכותית אנשים קופצים, אלא איזה מודל יספק לחברה או לארגון ערך עסקי אמיתי. SLMs מאפשרים לעסקים לפרוס AI ישירות על מחשבים ניידים, רובוטים וטלפונים ניידים ולהבטיח בכך גם שהנתונים, הדאטה שלהם, יישארו מוגנים.
דגמי SLM, שמותאמים להצטיין בתחומים ספציפיים - פיתוח תוכנה, רפואה, פיננסים וכדומה, יספקו תוצאות מדויקות ואמינות יותר, המותאמות לצרכי הארגון הייחודיים וליכולותיו.
ה-SLMs המזוקקים והקטנים יותר מצליחים לשמור על יכולות חשיבה חזקות וממוקדות תחום, ביחד עם יעילות המאפשרת להם לפעול באופן מקומי, מבלי להסתמך על מחשוב ענן.
#סוכני AI
אם SLMs מצוינים עבור עסקים הרוצים לייצר משימות אוטומציה שלא נזקקות לכל הרעש והצלצולים שמציע ה-LLM, אז מה עם סוכני בינה משויפים?
אז ברור שגם מפתחים של סוכני AI צריכים דגמים קלים, מהירים ומתמחים מאוד, המאומנים על ידע מעמיק וספציפי לתחום בו מתמחה הסוכן. בזכות דרישות המשאבים המצומצמות והגודל הקטן יותר שלהם, שירותי SLM יכולים בדרך כלל להתאים בול למגמת ה-Agentic AI, בכך שהם מאפשרים קבלת החלטות אוטונומית בקצה.
אמנם מודלי SLM עשויים לדרוש הכשרה מיוחדת מלכתחילה, אבל מנגד עומד היתרון של הפחתת הסיכונים הכרוכים בשימוש ב-LLM של צד שלישי וספקים חיצוניים. זהו יתרון עצום, המצטרף לשאר יתרונותיהם: יכולת הסבר גדולה יותר, ביצועים מהירים יותר ויכולת ביצוע מדויק, עקבי ושקוף יותר, המצטרפים לשליטה רבה יותר על פרטיות ואבטחת הנתונים.
#שילוב של המודלים
כיום מבינים שאמנם אין תחרות ל-LLMs בגודל ובעוצמה, אך הסתמכות יתר עליהם יכולה להוביל לתחושת ביטחון מוגזמת, לשאננות ולטעויות קריטיות שעלולות לחמוק מבלי להתגלות.
כך שאולי LLMs ו-SLMs אינם סותרים אלא משלימים. יתכן שבפועל, SLMs יכולים לחזק את ה-LLMs וליצור פתרונות היברידיים, משולבים, שבהם ה-SLMs ממונים על הביצוע הספציפי והמדויק בעוד ה-LLMs מספקים את הקונטקסט, ההקשר הרחב יותר .
מהם SLMs ומה יתרונות מודלי השפה הקטנים הללו:
https://youtu.be/C4Qt9Hnp6vs
הסבר פשוט וקצר:
https://youtu.be/AlwWuSor_M4
למה לבחור SLM ולאילו מגבלות לשים לב אל מול ה-LLM?
https://youtu.be/Hg8f5bjtsWc
ומודל השפה הקטן של מיסטרל:
https://youtu.be/nCXTdcggwkM
מהו מודל היגיון, או Reasoning Model?
מודל היגיון (Reasoning Model) הוא מודל שנועד לחקות את תהליך החשיבה האנושית ולהסיק מסקנות לוגיות על בסיס מידע נתון.
מודלי ריזונינג נוטים להיות כבדים יותר ולספק תובנות עמוקות, באמצעות הסקה רב-שלבית, מורכבת ומעמיקה. כמובן שהם משתמשים בטכניקות של בינה מלאכותית ולמידת מכונה כדי לנתח נתונים, לזהות דפוסים ולהסיק מסקנות מבוססות עובדות.
בדרך לתת תשובה מחלקים מודלי הגיון את פתרון הבעיה לשלבים, מתעכבים על התשובות, מהרהרים, בודקים, לעתים מתקנים את עצמם (בתכנות רואים את זה היטב) ומבצעים תהליכי ניתוח מורכבים.
בגדול - הם מבצעים חשיבה מתמשכת ומבוססת יותר מזו של מודלי שפה רגילים.
מודל הגיון שכזה מתאים מאוד לפתרון ברמת דוקטור (PhD) של בעיות מורכבות, בעיקר מתמטיות, מדעיות והנדסיות. הוא מושלם לחישובים מורכבים ודברים כמו מתמטיקה, פיזיקה, פיתוח קוד והסקת מסקנות.
ואגב, מודל ריזונינג דורש כוח מחשוב משמעותי מהרגיל, לפחות במקרה של מודל ChatGPT 4o1 של OpenAI וקצת פחות במודל הסיני המפתיע DeepSeek, שפותח לכאורה בגרושים ומראה תוצאות מרשימות בדרישות חומרה נמוכות בהרבה.
#החשיבה דרך הבעיה
מודל היגיון, הוא מודל מנומק, שמשתמש בהיגיון כדי "לחשוב דרך" הבעיה ולהיות מסוגל גם להראות את תהליך החשיבה שביצע, לפני שנותן את התוצאות. זאת בניגוד למודלים הרגילים שמבצעים אופטימיזציה סבירה, רק כדי שיוכלו לספק את התשובה המהירה ביותר (שזה מה שגם גורם לא פעם למודל שפה רגיל לתרום לנו בדרך את ה"הזיות", אותן Halucinations המוכרות לנו כל כך).
בקיצור, אם מודל שפה רגיל הוא הבחור הטקסטואלי שהוא אלוף על טקסטים ועונה מהר, מודל ההיגיון הוא הנערה המבריקה והריאלית, שיכולה לפצח בעיות מופשטות, מתמטיות, פיזיקליות ומדעיות בתחומים ומדעים מדויקים, בלי למצמץ ועם יכולת לנמק ולהסביר את הפתרון שאליו היא מגיעה, צעד אחר צעד.
מודל כזה מבצע לעתים קרובות "שרשרת מחשבה" (Chain of Thought) ולכן גם מכונה כך לפעמים. המודל חושב צעד אחר צעד, בצורה שמזכירה את האופן שבו אנו, בני האדם, עשויים לגשת לאתגר משמעותי יותר כמו פיתוח אפליקציה חדשה, תכנון חופשה או בניית בית.
#היתרון
משמעותו של מודל כזה היא ביכולת שלו לספק תשובות מדויקות ומושכלות לשאלות מורכבות, לפתור בעיות ולקבל החלטות מבוססות נתונים. לכן וכדי להצטיין בבעיות מסובכות יותר, מומלץ להזין אותו בכמה שיותר הקשר, קונטקסט (Context) לגבי הנושא והגישה לפתרון.
#במה הם יכולים לעזור לנו?
מודלים כאלו יכולים לנתח כמויות גדולות של נתונים במהירות ובדיוק, לזהות דפוסים ולהסיק מסקנות. הם יכולים לפתור בעיות מורכבות על ידי שימוש בלוגיקה ובאלגוריתמים מתקדמים.
ביכולתם גם לסייע בקבלת החלטות מבוססות נתונים, מה שיכול להיות מועיל בתחומים כמו רפואה, כלכלה וניהול. בנוסף, הם יכולים להסיק מסקנות לוגיות על בסיס הנתונים שנתונים להם, מה שיכול לסייע בתחזיות ובתכנון.
מודלי ההיגיון יכולים לחסוך זמן ומאמץ בביצוע משימות מורכבות, מה שמאפשר למשתמשים להתמקד בפעילויות אחרות. ביכולתם לספק תשובות מדויקות ומבוססות עובדות, מה שיכול להיות מועיל בתחומים כמו רפואה, משפטים והנדסה.
מודלים אלו מסייעים בקלות בקבלת החלטות מושכלות ומבוססות נתונים, מה שיכול להיות מועיל בחיי היומיום ובעבודה והם יכולים גם לסייע בפתרון בעיות מורכבות במהירות וביעילות, מה שיכול להיות מועיל בתחומים רבים.
ברפואה, מודלי היגיון יכולים לסייע באבחון מחלות ובמתן המלצות לטיפול על בסיס נתונים רפואיים.
בכלכלה, ניתן להסתייע בהם בניתוח שוק ההשקעות ובקבלת החלטות כלכליות מבוססות נתונים.
בחינוך, המודלים הללו יכולים לסייע בהוראה ובלמידה על ידי סיפוק הסברים מדויקים ומושכלים לשאלות מורכבות.
בניהול, הם מעולים הסיוע לניהול משאבים מוצלח ובקבלת החלטות ניהוליות מבוססות נתונים.
אז אם לסכם, מודל היגיון הוא כלי חזק שיכול לסייע במגוון רחב של תחומים ולשפר את איכות החיים של המשתמשים, על ידי סיפוק תשובות מדויקות ומבוססות עובדות. עם יכולותיו הוא מאפשר לנתח נתונים במהירות, לפתור בעיות מורכבות ולקבל החלטות מבוססות נתונים, מה שהופך אותו לאחד הכלים החיוניים ביותר בדור החדש של העידן הדיגיטלי מבוסס הבינה המלאכותית.
הנה מודל ההגיון הסיני Deepseek R1 שיודע לחשוב מראש, לתכנן, להשוות כמה תשובות אפשריות, לפרק את הבעיה לחלקים, לחזור אחורה ולחשוב מחדש על השאלה וכך לענות היטב על שאלות קשות, מורכבות ועד לא מזמן בלתי אפשריות למודל שפה:
https://youtu.be/-2k1rcRzsLA
דוגמה לבעיות פשוטות מהחיים שמודל מנומק יכול לפתור:
https://youtu.be/yQampjl6gPI
שניים כאלה:
https://youtu.be/rzMEieMXYFA
ו-DeepSeek R1 הוא מודל מנומק בקוד פתוח:
https://youtu.be/yT3KGbiA09Q
מהי טכנולוגיית הדיפ נוסטלגיה?
בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.
ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.
הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.
השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.
סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.
#איך פועלת הדיפ נוסטלגיה?
דיפ נוסטלגיה מחזירה, אם כן, לחיים אנשים שצולמו בצילומי סטילס. זה מתחיל באיתור פני המצולמים בתמונות ואז הפקה של מחוות ותנועות מציאותיות, ממש כאילו צולמו בווידאו. ההנפשה של הפנים בתמונות הסטילס מראה אותם מחייכים, זזים וממצמצים, כאילו צולמו כך במקור.
בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.
פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.
למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.
על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.
ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.
#ממה נמנעו מפתחי הדיפ נוסטלגי?
אנשי חברת MyHeritage ומפתחי היישום המלהיב נמנעו מהוספת דיבור לסרטונים.
לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.
ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.
אבל יש עוד סיבה לכך.
ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.
לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.
הסבר לטכנולוגיה (עברית):
https://youtu.be/O4VPN_YjgIM?t=21s
הנה הדיפ נוסטלגיה:
https://youtu.be/tjBYSnoAWqg
ציורים מפורסמים שקמים לתחייה:
https://youtu.be/TWY1uBK4Zxc
ואפילו דיקטטורים קמים לתחיה עם הדיפ נוסטלגיה של מיי הריטג':
https://youtu.be/a-HR03bToew
מהם סרטוני דיפ פייק ומה הבעיה בהם?
דיפ פייק (Deep fake או Deepfake) הוא שמה של טכנולוגיית וידאו, מבוססת בינה מלאכותית (AI), המאפשרת לייצר מציאות שנראית אמיתית ומבוססת על אנשים אמיתיים, אך לא התרחשה מעולם.
זה נעשה על ידי לקיחת תמונות, סרטונים וקולות ושינוי שלהם באמצעות AI, באופן שמאפשר לייצר תכנים דומים, הנראים אמיתיים, אך מעולם לא קרו, התרחשו או נאמרו באמת.
טכנולוגיה זו הולכת ותופסת בשנים האחרונות את מקומה ברשתות החברתיות שבאינטרנט.
העיקרון המוביל בסרטוני ה-Deepfakes הוא שחזורי פנים מדויקים, המולבשים על סרטוני וידאו, תמונות או אנימציה ומייצרים מראות הנראים אמיתיים לגמרי.
בסרטונים, למשל, מדובר על החלפת פניו של מי שצולם בווידאו, באמצעות למידת מכונה. התוצאה של זה היא יצירה בקלות של סרטוני וידאו המציגים אנשים העושים מעשים שמעולם לא עשו באמת או אומרים דברים שלא נאמרו.
#תולדות ה"דיפ פייק"
את לידת הטכנולוגיה הזו סימנה אפליקציה בשם FakeApp, שפותחה בסין על ידי מיזם בשם MoMo. המיזם היה ככל הנראה החלוץ בכך שאפשר להמונים להדביק את פניהם לזמרים, שחקנים ודמויות ממשחקי וידאו. לראשונה ראו המשתמשים שמספיקה תמונה אחת של פניהם, כדי שהאפליקציה תדביק ותמפה אותה באופן אוטומטי על גבי הקליפים שהיא מציעה.
בשנת 2016 כבר פותחו מערכות למידת מכונה אוטומטיות וחזקות יחסית, כאלה שלומדות ומשתפרות בעצמן, ככל שהן מופעלות. המערכות הללו חזרו שוב ושוב על תהליכי יצירת Deepfake וככל שהתהליך נמשך, לאחר מיליוני פעמים, הן שיפרו את התוצר. בשנה זו יצאו כבר תוכנות שאפשרו זאת גם על מחשבי PC ביתיים וחלשים יחסית.
את שמה קיבלה הטכנולוגיה הזו בשנת 2017, ממשתמש באתר Reddit שכינויו "זיופים עמוקים". הוא טבע את המונח לאחר שערך כמה סרטונים פורנוגרפיים ובהם הוא הטמיע, באמצעות טכנולוגיית "למידה עמוקה" (Deep learning), את פניהם של ידוענים ומפורסמים שונים.
את פרסומה העיקרי חייבת הטכנולוגיה הזו לסרטוני "פייק ניוז", חדשות כזב, שיצרו תומכי פוליטיקאים בארצות הברית, במהלך קמפיין הבחירות לנשיאות 2020. לפתע החלו להופיע סרטונים בהם ממליצים ומסבירים נשיאי עבר ומשפיענים פוליטיים שונים על דברים בדויים ומנוגדים לאמת. על התחום הזה שווה לקרוא בתגית "פייק ניוז".
#למה משמשים סרטונים אלו?
טכנולוגיית ה-Deepfake משמשת ליצירת תוכן וידאו המציג מציאות בדויה לחלוטין, דברים שנראים ונשמעים אמיתיים ומצולמים, אך למעשה לא התרחשו מעולם.
ביטויי הסרטונים הללו, שזכו לכינוי Deepfakes, הם רבים. הם מתחילים מפוליטיקה בה מיוצרים כך נאומים שלא ננאמו ומעבירים מסרים בדויים מפיהם של ידוענים, מנהיגים ומפורסמים ומסתיימים כיום בסרטונים "פסאודו-תיעודיים", המציגים מעשים, מראות וטקסטים מדוברים, הנראים אמיתיים לחלוטין אך מעולם לא צולמו והוקלטו.
מדובר בעניין מהפכני. מעולם לא עמדה טכנולוגיה כה חזקה וריאליסטית לטובת תעשיית השקר, או בשמה המכובס, תעשיית ה"פוסט אמת".
בעולם של ה-Deepfakes השתפרו האפשרויות ליצירה והפצה של שקרים פראיים. הן כה מרשימות, עד כדי כך שמיליונים "נופלים בפח", מאמינים לסרטוני הדיפ פייק הללו ומשנים בגללם את דעותיהם ואף את התנהגותם והעדפותיהם הפוליטיות. ראו את סרטון הטבע שאנו מציגים למטה ובו בעלי חיים בדויים וכמה שהוא נראה אמיתי.
#סיכום
הכלים ליצירת סרטוני ה"דיפ פייקס" הם כלים טכנולוגיים, מתוחכמים מכל טכנולוגיה שעמדה בעבר לטובת השקרנים ומקדמי מה שזכה לכינויים כמו "אמת אלטרנטיבית", תיאוריות קונספירציה וכדומה.
מעולם לא עמדו טכנולוגיות כה חזקות לרשות השקרים הקטנים, להם מתאפשר עתה להמציא ולהפיק את הבדיות שלהם באופן מוחשי וריאליסטי מאי-פעם.
מצד שני, מעולם הדיפ פייק נולד עם הזמן גם יישום ה"דיפ נוסטלגיה". עד שימצאו גם לו שימושים מזיקים ואף מחרידים, זהו עולם חיובי, סנטימנטלי ומעורר התרגשות אמיתי, בהנחה שנוסטלגיה אינה מזיקה לאיש. ניתן לקרוא עליו בתגית "דיפ נוסטלגיה".
הסבר לטכנולוגיה (עברית):
https://youtu.be/lk-1hBpAyiU
אובמה מדבר פייק:
https://youtu.be/gLoI9hAX9dw
סרט טבע פיקטיבי שיצרו בעזרת Sora ומציג פייק חיות:
https://youtu.be/ObUBUKOn-bo
ההשלכות של זה מטורפות (עברית):
https://youtu.be/4BsiYnt51ok
כך יוצרים פנים ממאפיינים או שילובי פנים אמיתיים:
https://youtu.be/kSLJriaOumA
ושעשוע עם טראמפ ומיסטר בין:
https://youtu.be/HN-qlGf2mZw
רשתות נוירונים (Neural Networks) הן רשתות מחשבים מתקדמות שמחקות את החשיבה האנושית.
נוירון במוח הוא תא עצב. זהו תא טיפש, ללא יכולת מרשימה בפני עצמו. את כוחו ויכולתו המדהימה לפתור בעיות מורכבות הוא קונה רק כשהוא שותף זעיר ברשת העצבית העצומה, שקוראים לה מוח.
למוח ולרשת נוירונים טכנולוגית שמחקה אותו יש את היכולת המדהימה לפתרון בעיות מורכבות. רשת נוירונים היא "רשת עצבית" מלאכותית, שמעתיקה את הפעילות של שכבות תאי העצב בניאו-קורטקס, האזור שתופס את רוב המוח האנושי.
בניאו קורטקס נעשית החשיבה שלנו. ב"רשת נוירונית" מחובר כל נוירון בסינפסות אל נוירונים נוספים. התקשורת בין הנוירונים היא באמצעות "פוטנציאלי פעולה" - מעין הבזקים, פעימות חשמליות, שעוברות בסינפסות בין נוירון, תא עצב, למשנהו והלאה אל הנוירון הבא ולאלה שאחריו.
מחקר רשתות הנוירונים עוסק בבניית מודלים וירטואליים של שכבות תאי העצב ובתחום זה עוסקים כיום צוותים מגוונים, שמורכבים ממדעני מוח, מדעני מחשב ותוכנה. רשתות מחשבים כאלה יוכלו בעתיד לבצע פעולות שהמוח יודע לבצע בקלות: לאסוף מידע, לנתחו ולהגיב לו בקבלת החלטות שאנו עושים אלפי פעמים ביום.
תחום הנוירו-מחשוב הוא אחד התחומים החשובים בעולם כיום. הוא יוביל בעתיד לדור מתקדם במיוחד של תוכנות חכמות. כבר היום רואים את האפשרויות של תוכנות-מוח שכאלה - מאפליקציות שלומדות את טעמנו האישי ומציעות לנו בגדים, אוכל, מוסיקה או ספרים שאנו אוהבים. בעתיד יותר ויותר טלפונים חכמים ילמדו הרגלים, תחביבים, העדפות וצרכים של המשתמש ויסייעו לו.
גם ברפואה משפרות רשתות עצביות את היכולות ומציעות השפעות נפלאות על היכולת לאתר סרטן עור מוקדם, לגלות טיפולים תרופתיים חדשים למחלות ועוד.
דמיינו מצלמות חכמות, שיודעות לזהות פורץ או מבקר תמים בביתנו, מערכות מחשוב שיזהו האקרים לעומת משתמשים תמימים שטעו, בידוק בטחוני שיזהה מפגים או עבריינים ומערכות צבאיות שיוודאו שכוחותינו יזהו וישמידו את כוחות האויב ולא את כוחותינו.
המלצה:
======
קראו באאוריקה בתגית "למידה עמוקה", על פיתוח מערכות הבינה המלאכותית שמתבססות על רשתות הנוירונים.
הנה רשתות הנוירונים הממוחשבות (מתורגם):
https://youtu.be/JrXazCEACVo
דרך לזהות בהן הפרעות נוירולוגיות (עברית):
https://youtu.be/Agrf1PPXSl8
רשתות הנוירונים שבמוחנו:
https://youtu.be/Gf5QEzZ9F3w
התהליך הכימי של מעבר המידע בין הנוירונים (מתורגם):
https://youtu.be/6Ra3il45vnE
כיום מפתחים רשת נוירונים שמחקה את יכולת הלמידה של תינוק:
http://youtu.be/VNNsN9IJkws
הסבר מדעי (מתורגם):
https://youtu.be/Z6xDuPOgT_Q
דרך שבה רשתות נוירוניות פועלות:
https://youtu.be/h52wgSsm57g
והפיתוח שלהם על ידי למידה מהביולוגיה והטבע:
https://youtu.be/JqMpGrM5ECo
מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4 ואחרים.
את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.
יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.
מודל כזה הוא תת-תחום של למידה עמוקה ומבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.
עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".
#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.
למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.
ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.
#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.
הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.
מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.
מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.
אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...
כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".
הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):
https://youtu.be/X-AWdfSFCHQ
כך פורצת מלחמת עולם ה-AI הראשונה:
https://youtu.be/nJjuYTpHQEE
מהו LLM?
https://youtu.be/iR2O2GPbB0E
המודל השולט בינואר 2025 - DeepSeek R1 הסיני:
https://youtu.be/hupQ97Or3jw
השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):
https://youtu.be/NanvGTQeO-g
כך פועל מודל השפה הגדול LLM:
https://youtu.be/iR2O2GPbB0E
כך בנויים ופועלים מודלי השפה הגדולים:
https://youtu.be/5sLYAQS9sWQ
יש להם גם חסרונות:
https://youtu.be/Gf_sgim24pI
הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):
https://youtu.be/-NIsUKUnxhA?long=yes
הפרמטרים והטוקנים באימון מודלים כאלו:
https://youtu.be/r17HV0TzAWw?long=yes
ובאופן סטטיסטי - כך פועל LLM:
https://youtu.be/LPZh9BOjkQs?long=yes
מודל שפה קטן (Small Language Model), ובקיצור SLM, הוא מודל מתמחה או מומחה, דגם קטן יותר ומזוקק, מה שהופך אותו להבטחה גדולה וממשית לצרכים עסקיים, בעולם האמיתי.
מודלים קטנים של שפה, או כמו שתרגום מכונה מכנה בטעות "מודלים של שפות קטנות", מאפשרים היום אימון בינה מלאכותית על ידע ספציפי לתחומים שונים ובכך להתאימם לתעשיות ספציפיות, משימות וזרימות עבודה תפעוליות.
SLM הוא קצת כמו סוס חזק ומהיר שיכול לבצע משימות ממוקדות, לעומת כרכרות LLM עמוסות, כבדות ולכן גם מוגבלות בתמרון.
שוב ושוב נשאלת השאלה האם יכולים מודלי שפה קטנים (SLMs) לנצח את ה-ChatGPTים או ה-Claudeים למיניהם, את האחים הגדולים והוותיקים, המצוידים, מאומנים ועתירי המשאבים מעולם ה-LLMs?
או במספרים - האם מודל של מיליארד בודד של פרמטרים (1B) יכול לגבור על היכולות של מודל עם 405B פרמטרים, יותר מפי 400 ממנו?
אז כן. בניגוד למודל שפה גדול של עולם ה-LLMs, שמעבד כמויות אדירות של ידע כללי, המודל הקטן מעולם ה-SLMs בנוי במחשבה על דיוק ויעילות. עלות הפעלתו היא נמוכה משמעותית, הוא דורש פחות כוח חישוב ובנוי כדי לספק תובנות רלוונטיות יותר לעסק מאשר מקביליו הגדולים והכלליים.
בעולם המודלים הגדולים של שפה כבר הסתבר שאופטימיזציה של החישובים ב-SLMs כאלה יכולה אכן לעלות את היכולות של הקטנים הללו על אלו של דגמים גדולים יותר, שמנסים ומצליחים להיות חכמים מכולם ויודעי-כל, אבל תפעולם יקר ומסורבל יותר והם לא יעמדו ביכולות ההתמחות של מודל קטן שלא מביט לצדדים ומרוכז רק במשימתו.
מחקרים שבחנו את היעילות של שיטה ששמה Compute-Optimal TTS, למשל, הראו ששיפור הביצועים של מודלים קטנים מאפשר לעלות בהם את הביצועים על אלו של דגמים גדולים יותר, במשימות מתמטיות כמו MATH-500 ו-AIME24 ובשיפור יכולות החשיבה של LLM.
#ביצועים, התמחות ואבטחת נתונים
לא מעט חברות וארגונים מבינים שהשאלה היא לא על איזה מודל בינה מלאכותית אנשים קופצים, אלא איזה מודל יספק לחברה או לארגון ערך עסקי אמיתי. SLMs מאפשרים לעסקים לפרוס AI ישירות על מחשבים ניידים, רובוטים וטלפונים ניידים ולהבטיח בכך גם שהנתונים, הדאטה שלהם, יישארו מוגנים.
דגמי SLM, שמותאמים להצטיין בתחומים ספציפיים - פיתוח תוכנה, רפואה, פיננסים וכדומה, יספקו תוצאות מדויקות ואמינות יותר, המותאמות לצרכי הארגון הייחודיים וליכולותיו.
ה-SLMs המזוקקים והקטנים יותר מצליחים לשמור על יכולות חשיבה חזקות וממוקדות תחום, ביחד עם יעילות המאפשרת להם לפעול באופן מקומי, מבלי להסתמך על מחשוב ענן.
#סוכני AI
אם SLMs מצוינים עבור עסקים הרוצים לייצר משימות אוטומציה שלא נזקקות לכל הרעש והצלצולים שמציע ה-LLM, אז מה עם סוכני בינה משויפים?
אז ברור שגם מפתחים של סוכני AI צריכים דגמים קלים, מהירים ומתמחים מאוד, המאומנים על ידע מעמיק וספציפי לתחום בו מתמחה הסוכן. בזכות דרישות המשאבים המצומצמות והגודל הקטן יותר שלהם, שירותי SLM יכולים בדרך כלל להתאים בול למגמת ה-Agentic AI, בכך שהם מאפשרים קבלת החלטות אוטונומית בקצה.
אמנם מודלי SLM עשויים לדרוש הכשרה מיוחדת מלכתחילה, אבל מנגד עומד היתרון של הפחתת הסיכונים הכרוכים בשימוש ב-LLM של צד שלישי וספקים חיצוניים. זהו יתרון עצום, המצטרף לשאר יתרונותיהם: יכולת הסבר גדולה יותר, ביצועים מהירים יותר ויכולת ביצוע מדויק, עקבי ושקוף יותר, המצטרפים לשליטה רבה יותר על פרטיות ואבטחת הנתונים.
#שילוב של המודלים
כיום מבינים שאמנם אין תחרות ל-LLMs בגודל ובעוצמה, אך הסתמכות יתר עליהם יכולה להוביל לתחושת ביטחון מוגזמת, לשאננות ולטעויות קריטיות שעלולות לחמוק מבלי להתגלות.
כך שאולי LLMs ו-SLMs אינם סותרים אלא משלימים. יתכן שבפועל, SLMs יכולים לחזק את ה-LLMs וליצור פתרונות היברידיים, משולבים, שבהם ה-SLMs ממונים על הביצוע הספציפי והמדויק בעוד ה-LLMs מספקים את הקונטקסט, ההקשר הרחב יותר .
מהם SLMs ומה יתרונות מודלי השפה הקטנים הללו:
https://youtu.be/C4Qt9Hnp6vs
הסבר פשוט וקצר:
https://youtu.be/AlwWuSor_M4
למה לבחור SLM ולאילו מגבלות לשים לב אל מול ה-LLM?
https://youtu.be/Hg8f5bjtsWc
ומודל השפה הקטן של מיסטרל:
https://youtu.be/nCXTdcggwkM
מודל היגיון (Reasoning Model) הוא מודל שנועד לחקות את תהליך החשיבה האנושית ולהסיק מסקנות לוגיות על בסיס מידע נתון.
מודלי ריזונינג נוטים להיות כבדים יותר ולספק תובנות עמוקות, באמצעות הסקה רב-שלבית, מורכבת ומעמיקה. כמובן שהם משתמשים בטכניקות של בינה מלאכותית ולמידת מכונה כדי לנתח נתונים, לזהות דפוסים ולהסיק מסקנות מבוססות עובדות.
בדרך לתת תשובה מחלקים מודלי הגיון את פתרון הבעיה לשלבים, מתעכבים על התשובות, מהרהרים, בודקים, לעתים מתקנים את עצמם (בתכנות רואים את זה היטב) ומבצעים תהליכי ניתוח מורכבים.
בגדול - הם מבצעים חשיבה מתמשכת ומבוססת יותר מזו של מודלי שפה רגילים.
מודל הגיון שכזה מתאים מאוד לפתרון ברמת דוקטור (PhD) של בעיות מורכבות, בעיקר מתמטיות, מדעיות והנדסיות. הוא מושלם לחישובים מורכבים ודברים כמו מתמטיקה, פיזיקה, פיתוח קוד והסקת מסקנות.
ואגב, מודל ריזונינג דורש כוח מחשוב משמעותי מהרגיל, לפחות במקרה של מודל ChatGPT 4o1 של OpenAI וקצת פחות במודל הסיני המפתיע DeepSeek, שפותח לכאורה בגרושים ומראה תוצאות מרשימות בדרישות חומרה נמוכות בהרבה.
#החשיבה דרך הבעיה
מודל היגיון, הוא מודל מנומק, שמשתמש בהיגיון כדי "לחשוב דרך" הבעיה ולהיות מסוגל גם להראות את תהליך החשיבה שביצע, לפני שנותן את התוצאות. זאת בניגוד למודלים הרגילים שמבצעים אופטימיזציה סבירה, רק כדי שיוכלו לספק את התשובה המהירה ביותר (שזה מה שגם גורם לא פעם למודל שפה רגיל לתרום לנו בדרך את ה"הזיות", אותן Halucinations המוכרות לנו כל כך).
בקיצור, אם מודל שפה רגיל הוא הבחור הטקסטואלי שהוא אלוף על טקסטים ועונה מהר, מודל ההיגיון הוא הנערה המבריקה והריאלית, שיכולה לפצח בעיות מופשטות, מתמטיות, פיזיקליות ומדעיות בתחומים ומדעים מדויקים, בלי למצמץ ועם יכולת לנמק ולהסביר את הפתרון שאליו היא מגיעה, צעד אחר צעד.
מודל כזה מבצע לעתים קרובות "שרשרת מחשבה" (Chain of Thought) ולכן גם מכונה כך לפעמים. המודל חושב צעד אחר צעד, בצורה שמזכירה את האופן שבו אנו, בני האדם, עשויים לגשת לאתגר משמעותי יותר כמו פיתוח אפליקציה חדשה, תכנון חופשה או בניית בית.
#היתרון
משמעותו של מודל כזה היא ביכולת שלו לספק תשובות מדויקות ומושכלות לשאלות מורכבות, לפתור בעיות ולקבל החלטות מבוססות נתונים. לכן וכדי להצטיין בבעיות מסובכות יותר, מומלץ להזין אותו בכמה שיותר הקשר, קונטקסט (Context) לגבי הנושא והגישה לפתרון.
#במה הם יכולים לעזור לנו?
מודלים כאלו יכולים לנתח כמויות גדולות של נתונים במהירות ובדיוק, לזהות דפוסים ולהסיק מסקנות. הם יכולים לפתור בעיות מורכבות על ידי שימוש בלוגיקה ובאלגוריתמים מתקדמים.
ביכולתם גם לסייע בקבלת החלטות מבוססות נתונים, מה שיכול להיות מועיל בתחומים כמו רפואה, כלכלה וניהול. בנוסף, הם יכולים להסיק מסקנות לוגיות על בסיס הנתונים שנתונים להם, מה שיכול לסייע בתחזיות ובתכנון.
מודלי ההיגיון יכולים לחסוך זמן ומאמץ בביצוע משימות מורכבות, מה שמאפשר למשתמשים להתמקד בפעילויות אחרות. ביכולתם לספק תשובות מדויקות ומבוססות עובדות, מה שיכול להיות מועיל בתחומים כמו רפואה, משפטים והנדסה.
מודלים אלו מסייעים בקלות בקבלת החלטות מושכלות ומבוססות נתונים, מה שיכול להיות מועיל בחיי היומיום ובעבודה והם יכולים גם לסייע בפתרון בעיות מורכבות במהירות וביעילות, מה שיכול להיות מועיל בתחומים רבים.
ברפואה, מודלי היגיון יכולים לסייע באבחון מחלות ובמתן המלצות לטיפול על בסיס נתונים רפואיים.
בכלכלה, ניתן להסתייע בהם בניתוח שוק ההשקעות ובקבלת החלטות כלכליות מבוססות נתונים.
בחינוך, המודלים הללו יכולים לסייע בהוראה ובלמידה על ידי סיפוק הסברים מדויקים ומושכלים לשאלות מורכבות.
בניהול, הם מעולים הסיוע לניהול משאבים מוצלח ובקבלת החלטות ניהוליות מבוססות נתונים.
אז אם לסכם, מודל היגיון הוא כלי חזק שיכול לסייע במגוון רחב של תחומים ולשפר את איכות החיים של המשתמשים, על ידי סיפוק תשובות מדויקות ומבוססות עובדות. עם יכולותיו הוא מאפשר לנתח נתונים במהירות, לפתור בעיות מורכבות ולקבל החלטות מבוססות נתונים, מה שהופך אותו לאחד הכלים החיוניים ביותר בדור החדש של העידן הדיגיטלי מבוסס הבינה המלאכותית.
הנה מודל ההגיון הסיני Deepseek R1 שיודע לחשוב מראש, לתכנן, להשוות כמה תשובות אפשריות, לפרק את הבעיה לחלקים, לחזור אחורה ולחשוב מחדש על השאלה וכך לענות היטב על שאלות קשות, מורכבות ועד לא מזמן בלתי אפשריות למודל שפה:
https://youtu.be/-2k1rcRzsLA
דוגמה לבעיות פשוטות מהחיים שמודל מנומק יכול לפתור:
https://youtu.be/yQampjl6gPI
שניים כאלה:
https://youtu.be/rzMEieMXYFA
ו-DeepSeek R1 הוא מודל מנומק בקוד פתוח:
https://youtu.be/yT3KGbiA09Q
רשת עצבית מלאכותית
בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.
ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.
הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.
השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.
סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.
#איך פועלת הדיפ נוסטלגיה?
דיפ נוסטלגיה מחזירה, אם כן, לחיים אנשים שצולמו בצילומי סטילס. זה מתחיל באיתור פני המצולמים בתמונות ואז הפקה של מחוות ותנועות מציאותיות, ממש כאילו צולמו בווידאו. ההנפשה של הפנים בתמונות הסטילס מראה אותם מחייכים, זזים וממצמצים, כאילו צולמו כך במקור.
בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.
פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.
למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.
על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.
ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.
#ממה נמנעו מפתחי הדיפ נוסטלגי?
אנשי חברת MyHeritage ומפתחי היישום המלהיב נמנעו מהוספת דיבור לסרטונים.
לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.
ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.
אבל יש עוד סיבה לכך.
ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.
לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.
הסבר לטכנולוגיה (עברית):
https://youtu.be/O4VPN_YjgIM?t=21s
הנה הדיפ נוסטלגיה:
https://youtu.be/tjBYSnoAWqg
ציורים מפורסמים שקמים לתחייה:
https://youtu.be/TWY1uBK4Zxc
ואפילו דיקטטורים קמים לתחיה עם הדיפ נוסטלגיה של מיי הריטג':
https://youtu.be/a-HR03bToew
דיפ פייק (Deep fake או Deepfake) הוא שמה של טכנולוגיית וידאו, מבוססת בינה מלאכותית (AI), המאפשרת לייצר מציאות שנראית אמיתית ומבוססת על אנשים אמיתיים, אך לא התרחשה מעולם.
זה נעשה על ידי לקיחת תמונות, סרטונים וקולות ושינוי שלהם באמצעות AI, באופן שמאפשר לייצר תכנים דומים, הנראים אמיתיים, אך מעולם לא קרו, התרחשו או נאמרו באמת.
טכנולוגיה זו הולכת ותופסת בשנים האחרונות את מקומה ברשתות החברתיות שבאינטרנט.
העיקרון המוביל בסרטוני ה-Deepfakes הוא שחזורי פנים מדויקים, המולבשים על סרטוני וידאו, תמונות או אנימציה ומייצרים מראות הנראים אמיתיים לגמרי.
בסרטונים, למשל, מדובר על החלפת פניו של מי שצולם בווידאו, באמצעות למידת מכונה. התוצאה של זה היא יצירה בקלות של סרטוני וידאו המציגים אנשים העושים מעשים שמעולם לא עשו באמת או אומרים דברים שלא נאמרו.
#תולדות ה"דיפ פייק"
את לידת הטכנולוגיה הזו סימנה אפליקציה בשם FakeApp, שפותחה בסין על ידי מיזם בשם MoMo. המיזם היה ככל הנראה החלוץ בכך שאפשר להמונים להדביק את פניהם לזמרים, שחקנים ודמויות ממשחקי וידאו. לראשונה ראו המשתמשים שמספיקה תמונה אחת של פניהם, כדי שהאפליקציה תדביק ותמפה אותה באופן אוטומטי על גבי הקליפים שהיא מציעה.
בשנת 2016 כבר פותחו מערכות למידת מכונה אוטומטיות וחזקות יחסית, כאלה שלומדות ומשתפרות בעצמן, ככל שהן מופעלות. המערכות הללו חזרו שוב ושוב על תהליכי יצירת Deepfake וככל שהתהליך נמשך, לאחר מיליוני פעמים, הן שיפרו את התוצר. בשנה זו יצאו כבר תוכנות שאפשרו זאת גם על מחשבי PC ביתיים וחלשים יחסית.
את שמה קיבלה הטכנולוגיה הזו בשנת 2017, ממשתמש באתר Reddit שכינויו "זיופים עמוקים". הוא טבע את המונח לאחר שערך כמה סרטונים פורנוגרפיים ובהם הוא הטמיע, באמצעות טכנולוגיית "למידה עמוקה" (Deep learning), את פניהם של ידוענים ומפורסמים שונים.
את פרסומה העיקרי חייבת הטכנולוגיה הזו לסרטוני "פייק ניוז", חדשות כזב, שיצרו תומכי פוליטיקאים בארצות הברית, במהלך קמפיין הבחירות לנשיאות 2020. לפתע החלו להופיע סרטונים בהם ממליצים ומסבירים נשיאי עבר ומשפיענים פוליטיים שונים על דברים בדויים ומנוגדים לאמת. על התחום הזה שווה לקרוא בתגית "פייק ניוז".
#למה משמשים סרטונים אלו?
טכנולוגיית ה-Deepfake משמשת ליצירת תוכן וידאו המציג מציאות בדויה לחלוטין, דברים שנראים ונשמעים אמיתיים ומצולמים, אך למעשה לא התרחשו מעולם.
ביטויי הסרטונים הללו, שזכו לכינוי Deepfakes, הם רבים. הם מתחילים מפוליטיקה בה מיוצרים כך נאומים שלא ננאמו ומעבירים מסרים בדויים מפיהם של ידוענים, מנהיגים ומפורסמים ומסתיימים כיום בסרטונים "פסאודו-תיעודיים", המציגים מעשים, מראות וטקסטים מדוברים, הנראים אמיתיים לחלוטין אך מעולם לא צולמו והוקלטו.
מדובר בעניין מהפכני. מעולם לא עמדה טכנולוגיה כה חזקה וריאליסטית לטובת תעשיית השקר, או בשמה המכובס, תעשיית ה"פוסט אמת".
בעולם של ה-Deepfakes השתפרו האפשרויות ליצירה והפצה של שקרים פראיים. הן כה מרשימות, עד כדי כך שמיליונים "נופלים בפח", מאמינים לסרטוני הדיפ פייק הללו ומשנים בגללם את דעותיהם ואף את התנהגותם והעדפותיהם הפוליטיות. ראו את סרטון הטבע שאנו מציגים למטה ובו בעלי חיים בדויים וכמה שהוא נראה אמיתי.
#סיכום
הכלים ליצירת סרטוני ה"דיפ פייקס" הם כלים טכנולוגיים, מתוחכמים מכל טכנולוגיה שעמדה בעבר לטובת השקרנים ומקדמי מה שזכה לכינויים כמו "אמת אלטרנטיבית", תיאוריות קונספירציה וכדומה.
מעולם לא עמדו טכנולוגיות כה חזקות לרשות השקרים הקטנים, להם מתאפשר עתה להמציא ולהפיק את הבדיות שלהם באופן מוחשי וריאליסטי מאי-פעם.
מצד שני, מעולם הדיפ פייק נולד עם הזמן גם יישום ה"דיפ נוסטלגיה". עד שימצאו גם לו שימושים מזיקים ואף מחרידים, זהו עולם חיובי, סנטימנטלי ומעורר התרגשות אמיתי, בהנחה שנוסטלגיה אינה מזיקה לאיש. ניתן לקרוא עליו בתגית "דיפ נוסטלגיה".
הסבר לטכנולוגיה (עברית):
https://youtu.be/lk-1hBpAyiU
אובמה מדבר פייק:
https://youtu.be/gLoI9hAX9dw
סרט טבע פיקטיבי שיצרו בעזרת Sora ומציג פייק חיות:
https://youtu.be/ObUBUKOn-bo
ההשלכות של זה מטורפות (עברית):
https://youtu.be/4BsiYnt51ok
כך יוצרים פנים ממאפיינים או שילובי פנים אמיתיים:
https://youtu.be/kSLJriaOumA
ושעשוע עם טראמפ ומיסטר בין:
https://youtu.be/HN-qlGf2mZw
