למידת מכונה מתבססת על יצירה של מודל גדול. המודל עצמו הוא אכן אוסף גדול ומורכב של מספרים, שמייצגים מידע, כלומר דאטה שהוזן למודל מהעולם האמיתי כקלט (Input).

המספרים הללו מייצגים את פריטי הקלט המסוים ומגדירים קשרים מתמטיים ביניהם. על ידי אימון מתמיד של המודל, הוא הולך ומזהה את הקשרים הללו כדפוסים, שיהיו מוכנים כמעין ידע שהוא למד, לקראת שימוש בו, להצגת תחזיות, מענה לשאלות, חישובים של בעיות שנפנה אליו וכדומה.


#תהליך האימון
לפני וכדי שמודל יוכל לענות על שאלות או להציע תחזיות יש לאמן אותו. ממש כמו מאמן כושר או מפקד טירונים בצבא, שמקבלים אימון, הוא יקבל אוסף של נתונים, דאטה שיעמוד לרשותו, כדי שיוכל לזהות את אותם דפוסים. זה חייב להיות קלט (Input) עצום וגדול, כלומר המון נתונים, Big Data.

כדי לאמן מודל אנחנו נותנים לו אוסף של קלטים. הקלטים הללו ישתנו לפי סוג ומטרת המודל, אך המטרה הבסיסית, העליונה והתמידית שלו תהיה למצוא את הדפוסים בדאטה, כך שהוא יוכל ליצור תחזיות טובות ולתת תשובות טובות וללא הֲזָיוֹת (Hallucinations).


#שיטות אימון
למידת מכונה מתבצעת בכמה שיטות שונות, שכל אחת מחייבת "שיטת הוראה" שונה. ישנם 3 סוגים של למידת מכונה: למידה ללא פיקוח, למידה מפוקחת ולמידת חיזוק.

- למידה לא מפוקחת - היא למידת מכונה הלומדת באמצעות זיהוי עצמי של קווי דמיון ודפוסים וללא הנחיה אנושית.

- למידה מפוקחת - מתבססת על אימון בינה מלאכותית באמצעות דוגמאות מסומנות. כלומר, למידה שמסתמכת על קלט מבני אדם כדי לבדוק את דיוק התחזיות.

- למידת חיזוק - מתבססת על אימון בינה מלאכותית באמצעות ניסוי וטעייה. כלומר, מדובר בלמידה מחוזקת משמשת לתוכניות טיפול, תוך איסוף משוב באופן חוזר ונשנה (איטרטיבי) והשוואה מול הדאטה המקורית של כל פרופיל, כדי לקבוע את הטיפול היעיל ביותר לו.

כאשר מודלים אלה הופכים לעצמם, קשה יותר לקבוע את תהליך קבלת ההחלטות שלהם, מה שיכול להשפיע על העבודה, הבריאות והבטיחות שלנו.


#דוגמה
הנה דוגמה מהעולם הרפואי של רופאים והמטופלים שלהם:

בלמידה ללא פיקוח נוכל להשתמש כדי שהמודל יזהה קווי דמיון בין פרופילי מטופלים שונים ויאתר דפוסים שמתעוררים אצלם, כשהוא עושה זאת ללא הדרכה אנושית וללא פיקוח של רופאים ומומחים.

למידה מפוקחת, לעומת זאת, תסתמך על הקלט של הרופאים שיבצעו את האבחנה הסופית ויבדקו את הדיוק של חיזוי האלגוריתם. כלומר כאן המכונה תלמד מהמומחה, גם מהאבחנות המוצלחות שלו אך גם משגיאותיו. אם יוזנו למכונה נתונים של 2 קבוצות, חולים ובריאים, היא תזהה בעצמה מאפיינים שמשותפים לחולים במחלה מסוימת ושאינם נמצאים אצל אנשים בריאים. לאחר השוואה בין תחזיות המכונה לאבחון הסופי של המומחים, המכונה תלמד לזהות את התסמינים של המחלה ולסייע לרופאים לאבחן אותה נכון בעתיד.

למידת חיזוק תשמש לתכניות טיפול, בגישה איטרטיבית, תהליך חוזר ונשנה בו יוזן למכונה, שוב ושוב, המשוב החוזר על ידי הרופאים. המשוב יהיה לגבי יעילות התרופות, המינונים השונים ולגבי הטיפולים היעילים יותר ופחות, כך שהמודל ישווה יעילות של התרופות, המינונים והטיפולים לדאטה של החולה ויסיק מסקנות שיאפשרו לו לחזק בעתיד את הטיפולים המוצלחים והייחודיים יותר, אלו שיתאימו לפרופילי חולים, עם מאפיינים ומקרים שונים, לאור תגובות חולים משתנות, נסיבות שונות של המחלה ומצבי המחלה המגוונים לאורך הטיפול.


כלומר, החוקרים יכולים להשתמש במערכות למידת המכונה הללו ביחד, כדי לבנות מערכות בינה מלאכותית.

אבל - ויש כאן אבל משמעותי - יש לשים לב שככל שהמודלים הללו מכוונים באופן עצמאי, יהיה קשה יותר לקבוע כיצד האלגוריתמים השונים מגיעים לפתרונות שלהם, מה שיכול להיות בעל השפעה משמעותית על העבודה, הבריאות והבטיחות שלנו, בני האדם, כשאנו משתמשים בהם. לכן, באימון של מודלים גדולים (LLMs) משתמשים לרוב בכל השיטות הללו במקביל, כשלא פעם הן מאמנות אחת את השנייה.


הנה אימון מכונה פשוט (עברית):

https://youtu.be/CC-TGXxc-Go


כך המכונה לומדת ומדוע כדאי לשלב שיטות אימון שונות (מתורגם):

https://youtu.be/0yCJMt9Mx9c


וכך האלגוריתמים לומדים (מתורגם):

https://youtu.be/R9OHn5ZF4Uo?long=yes

מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4 ואחרים.

את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.

יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.

מודל כזה הוא תת-תחום של למידה עמוקה ומבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.

עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".


#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.

למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.

ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.


#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.

הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.

מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.

מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.

אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...

כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".


הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):

https://youtu.be/X-AWdfSFCHQ


כך פורצת מלחמת עולם ה-AI הראשונה:

https://youtu.be/nJjuYTpHQEE


מהו LLM?

https://youtu.be/iR2O2GPbB0E


המודל השולט בינואר 2025 - DeepSeek R1 הסיני:

https://youtu.be/hupQ97Or3jw


השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):

https://youtu.be/NanvGTQeO-g


כך פועל מודל השפה הגדול LLM:

https://youtu.be/iR2O2GPbB0E


כך בנויים ופועלים מודלי השפה הגדולים:

https://youtu.be/5sLYAQS9sWQ


יש להם גם חסרונות:

https://youtu.be/Gf_sgim24pI


הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):

https://youtu.be/-NIsUKUnxhA?long=yes


הפרמטרים והטוקנים באימון מודלים כאלו:

https://youtu.be/r17HV0TzAWw?long=yes


ובאופן סטטיסטי - כך פועל LLM:

https://youtu.be/LPZh9BOjkQs?long=yes

בעולם המתהווה ממש לנגד עינינו יש לעתים בלבול בין טכנולוגיות, מושגים ורעיונות שונים. הבה נבהיר את ההבדלים ביניהם:

#מולטי מודאליות (Multimodal Model)
זוהי תכונה של מודל שפה שיכול לקבל סוגי קלט שונים ולהתייחס אליהם, במקום רק טקסט, כמו מודלי השפה הרגילים או הראשונים שהכרנו בהתחלה. הרעיון במודלים מולטי-מודאליים כאלו הוא שהם משלבים כמה סוגי נתונים או מודאלים, כולל טקסט, תמונות, הקלטות, אולי סרטונים וכדומה.

דוגמה לכך היא מודל ה-Multimodal Chain-of-Thought (בקיצור CoT), שמציע גישה בה המודל משתמש בשני שלבים: הראשון הוא יצירת רציונלים, הסברים, והשלב השני של הסקת תשובות. השילוב של מידע טקסטואלי עם מידע חזותי מאפשר למודלים אלו לשפר את ביצועיהם ולצמצם את כמות ה"הזיות" (hallucinations) בתשובותיהם. פירוט בתגית "מולטי מודאליות".


#מודל היגיון (Reasoning Model)
מודל היגיון הוא מודל שנועד לחקות את תהליך החשיבה האנושית. הוא מתמקד בהסקת מסקנות לוגיות על בסיס מידע נתון, ולא רק בהפקת תשובות מהירות.

מודלים אלו מבצעים לעיתים קרובות "שרשרת מחשבה" (Chain of Thought), כלומר הם חושבים צעד אחר צעד כדי לפתור בעיות מורכבות, כמו בעיות מתמטיות או מדעיות. זה מאפשר להם להסביר את הפתרונות שלהם בצורה ברורה ומדויקת יותר. פירוט בתגית "מודל היגיון".


#שרשרת מחשבה (Chain of Thought)
ה-Chain of Thought ובקיצור CoT, הוא טכניקת הפעלת מודלים שבה המודל מונחה לפרק בעיה סבוכה ומורכבת ולייצר רצף של צעדי חשיבה קטנים, לפני שהוא מספק תשובה.

שיטה זו, המחקה את דרך הפעולה האנושית, שיפרה את יכולות ההיגיון של מודלים גדולים והוכחה כיעילה בביצוע משימות שונות כמו חישובים, רציונליזציה של מצבים יומיומיים, ופתרון בעיות סימבוליות.

המודל מתבסס על דוגמאות קודמות כדי להנחות את החשיבה שלו, מה שמוביל לשיפור משמעותי בביצועים. פירוט בתגית "שרשרת מחשבה".


אז נסכם שמולטי מודאליטי או מולטי מודאליות משלבת סוגי נתונים או קלט שונים ולא רק טקסט ובכך משפרת ביצועים. מודל היגיון, בסמוך, מחקה את החשיבה האנושית ומספק הסברים לוגיים לתשובות שהוא נותן, בעוד שחשיבה מדורגת, או שרשרת מחשבה, היא טכניקה שמסייעת ומנחה מודלים לחשוב על בעיות בצורה מסודרת, לפני שהם נותנים את התשובה.

שלושת המושגים הללו קשורים זה בזה, כי מודלי ההיגיון יכולים להשתמש בטכניקות של חשיבה מודרגת (Chain of Thought) ולא פעם משולבים בהם אמצעים מולטי-מודאליים כדי לנצל את היתרונות של כל אחד מהם.

זה אחד הפיתוחים המרגשים של עידן הבינה החדש ומה שמרגיש לא פעם כמו סרטי מד"ב מהיותר מתוחכמים. קוראים לזה מולטי-מודאליות (Multimodality) והוא בעצם היכולת של כלי AI לעבוד עם סוגי נתונים שונים, כמו טקסט, אודיו, קוד, וידאו ותמונות - גם כקלט וגם כפלט.

במקום להתמקד בסוג אחד בלבד של נתונים, מערכת רב-מודאלית מקבלת ומנתחת מידע ממקורות מגוונים, בכדי לקבל הבנה מעמיקה יותר של העולם הסובב אותה. מדובר בכלי ממוחשב שבדיוק כמו שבני אדם חווים את העולם דרך כל החושים והחוויות, לא רק מבין טקסט, אלא גם רואה תמונות וסרטים, מעבד ומנתח וידאו, מגלה הבנה מרחבית, שומע קולות וצלילים, מפענח קוד של תוכנה ומסוגל גם ליצור תכנים ותוצרים בכל המדיות הללו.

בדומה למוח האנושי, המשלב בטבעיות מידע מכל החושים, העולם של המערכות המולטי מודאליות ב-generative AI מציג יכולת שהיא עוד רכיב במהפכה הגדולה של מערכות בינה מלאכותית, מהפכונת שמאפשרת לעבד ולשלב כמה סוגי מדיה במקביל.

המערכות החדשות הללו מצוידות בשכבות מורכבות של פענוח ומפענחות את העולם פחות או יותר כמו מחשב-על. דוגמאות לא חסר. למשל עם צ'טבוט שבזכות ההבנה המרחבית המשופרת שלו מסוגל לזהות ולהוסיף כיתוב מדויק לעצמים שונים בתמונות עמוסות פריטים. או צ'טבוט שמנתח תמונות ומאפשר למשתמש לנהל עליהן דיון, או סוקר אינפוגרפיקה ונותן לה פרשנות קולית רלוונטית, בהתאם לרמת ההבנה של המשתמש או קהל היעד המבוקש. לכלי כזה יש גם כלי וידאו שמקבלים תמונה והנחייה כתובה (פרומפט) ומנפישים את התמונה לקליפ וידאו שכמו צולם בידי צוות צילום הוליוודי.

דוגמה נוספת היא כלי אינטראקציה רב-מודאלי כמו NotebookLM. הוא מאפשר למשתמשים לשתף איתו את המסך או המצלמה שלהם בזמן אמת. כך ניתן לקיים שיחות קוליות דמויות אדם, תוך כדי שמאפשרים ל-AI לצפות במסך ולעזור, תוך כדי מודעות להקשר ולתוכן.

אפילו תכונת זיהוי הפנים בסמארטפון שלכם היא תכונה שמשלבת היטב ראייה ממוחשבת, מיפוי תלת-ממדי ועיבוד נתונים מתקדם. ומאלה היא יוצרת פיצ'ר מדהים, בצד חווית משתמש פשטותה כמו מבט של שומר אנושי.

שילוב של צורות נתונים מרובות, כמו טקסט, תמונות ואודיו לתוך מערכת מאוחדת ורב-מודאלית היא שמאפשרת למודלים כמו Claude או GPT-4 לכתוב קוד כשמזינים לתוכו דיאגרמה ולמודלים שונים ליצור תמונות או סרטוני וידאו עם תיאורים.

את המהפכה המולטימודאלית אפשר לזהות בקלות בפלטפורמות כמו טיקטוק (TikTok) ואינסטגרם (Instagram), בהן משלבים סוגי מדיה מגוונים ומעבדים במגוון כלים, המשנים את הדרך בה אנו מספרים את הסיפור שלנו לעולם.


הנה הסבר היכולת המולטי-מודאלית:

https://youtu.be/97n1u66Shgg


כך עובדים מערכות מולטי מודאליות:

https://youtu.be/WkoytlA3MoQ


וההיפר מודאליות החדשה של גוגל מארינר:

https://youtu.be/KeUMm1xF3o0?long=yes

צ'אטבוט (Chatbot) הוא סוג של סייען חכם וממוחשב, שניתן לשוחח איתו בהתכתבות צ'אט, או במקרה של צ'אטבוט מתקדם יותר גם שיחה מבוססת דיבור.

כמובן שהצ'אטבוט הוא מערכת מבוססת AI (בינה מלאכותית, או אינטליגנציה מלאכותית) שמייצרת שיחה מלאכותית עם המשתמש - מבלי שבצד השני נמצא אדם אמיתי.

בעשור השני של המאה ה-21 הצ'אטבוט הלך ותפס את מקומו ברשת ובאפליקציות שונות והפך לדרך חדשה לחלוטין להשתמש באינטרנט. לקוחות מצאו את עצמם מנהלים התכתבות בצ'אט או שיחה אוטומטיות עם בוט, שנתן מענה מותאם אישית ושיפר את עצמו עם הזמן.

הצ'טבוט הבטיח לספק שירות לאורך כל שעות היממה, 24/7. הוא סימן הפחתה של המון מהעומס של שירות הלקוחות האנושי, חסך זמן למתעניינים וללקוחות שביקשו שירות וחסך לעסקים הרבה כסף.

התגלה שבוט AI ממוקד ואיכותי מסוגל להציע תגובות מהירות ומדויקות, מה שהוביל לשיפור ניכר בחוויית הלקוח ולעלייה בשביעות הרצון, אף שהיו לקוחות שהתעקשו לשוחח עם בן אדם, שהיה עמוס עכשיו פחות ולכן גם זמין להם הרבה יותר.

היתרונות של הצ'טבוט בטיפול אישי במשתמש ובלקוח היו עצומים. שולבו בו טכנולוגיות פרסונליזציה מתקדמות שהלכו והתפתחו, תוך גיוס הבינה המלאכותית לצרכי השיווק, המכירות והתמיכה.

רבים חזו שצ'אטבוטים עשויים להחליף חלק ניכר מהשימוש באתרי שירותים שונים ולייתר אותם בעתיד, מה שהתממש אבל חלקית.

בזמנו החליטה פייסבוק להשתמש בצ'אטבוטים בתוך שירות המסרים שלה מסנג'ר. היא אפשרה למפתחים חיצוניים לפתח צ'אטבוטים שיתנו שירותים ומידע מאתרים אחרים. ההכרזה על פלטפורמת הצ'אט בוט של פייסבוק מסנג'ר קדמה את רעיון הצ'אטבוטים המקוונים באופן משמעותי, במיוחד למשתמש הנייד בסמארטפונים ושעונים חכמים, אם כי הזינוק הטרנדי שנוצר עם ההשקה הלך ונרגע עם הזמן.

ההבשלה של אותם צ'אטבוטים באה בעשור הבא דווקא. זה קרה עם הגעתו של ChatGPT, מודל השפה הגדול הראשון (LLM), שאחריו הגיעו נוספים, כמו Gemini או Claude. מודל השפה הזה הוא בעיקרון מנוע בינה מלאכותית גדול ורחב-אופקים, המצויד ביכולת להבין שפה טבעית, אנושית, ויכול לעשות המון דברים, כלומר להתמודד עם מגוון ענקי של משימות ושהיכולות שלו הולכות וגדלות מיום ליום. ראו בתגית "LLM".

ממודלי השפה הגדולים התפתחו גם מנועי היצירה של הבינה הג'נרטיבית (Generative AI), המייצרים תמונות, שירים, וידאו ועוד. הכירו בתגית "GenAI".

אחריו נולדו סוכני ה-AI, צ'אטבוטים שממלאים משימות עבורך, על ידי שילוב בין היכולת הבינתית של מודל השפה הגדול כמו ChatGPT, עם היכולת של רכיב תוכנה שיכול לפעול באופן עצמאי וממוקד, למילוי של משימה ספציפית עבורנו, כמו לתכנן טיול, לקנות מוצרים אונליין, לטפל בדואר האלקטרוני שלנו וכדומה.

אותם סוכני AI הם רכיבי תוכנה אוטונומיים, יישומים מבוססי בינה מלאכותית, המסוגלים לתפוס את סביבתם, לקבל החלטות ולפעול לביצוע או השגת מטרות ממוקדות בשירות המשתמש. הכירו אותם בתגית "סוכני AI".

כלומר, אם הצ'טבוט של העשור שהחל ב-2010 היה עובד חרוץ אך לא חכם מדי, הצ'טבוט הבינתי של מודל השפה הגדול בעשור שאחריו רכש השכלה ופיתח את יכולותיו האינטליגנטיות באופן שהפך אותו למומחה ואז מגיע הסוכן הבינתי, AI agent והוא כבר עובד שמתמחה במשימה מסוימת ועושה אותה בצורה מיומנת וחרוצה.

עסקה טובה לרובנו.


פעילות נחמדה
============
בקישורים שלמטה יש לינק לצ'ט בוט נהדר. נסו לשוחח איתה (באנגלית) ולהכיר קצת את חוויית השיחה עם צ'ט בוט אופייני.


הנה עולם הצ'אטבוט:

http://youtu.be/iE9LtfQAYYU


עוד על השימוש בצ'אטבוטים ברשת:

http://youtu.be/G8z--x5tFOI


ההכרזה על הצ'אט בוט במסנג'ר של פייסבוק:

http://youtu.be/EOYnFUJyOlQ


ומנגד - כשהושק הצ'אטבוט של מיקרוסופט הוא "הסתבך" עם ביטויי גזענות קשים:

http://youtu.be/LA49GBcbudg

מודל היגיון (Reasoning Model) הוא מודל שנועד לחקות את תהליך החשיבה האנושית ולהסיק מסקנות לוגיות על בסיס מידע נתון.

מודלי ריזונינג נוטים להיות כבדים יותר ולספק תובנות עמוקות, באמצעות הסקה רב-שלבית, מורכבת ומעמיקה. כמובן שהם משתמשים בטכניקות של בינה מלאכותית ולמידת מכונה כדי לנתח נתונים, לזהות דפוסים ולהסיק מסקנות מבוססות עובדות.

בדרך לתת תשובה מחלקים מודלי הגיון את פתרון הבעיה לשלבים, מתעכבים על התשובות, מהרהרים, בודקים, לעתים מתקנים את עצמם (בתכנות רואים את זה היטב) ומבצעים תהליכי ניתוח מורכבים.

בגדול - הם מבצעים חשיבה מתמשכת ומבוססת יותר מזו של מודלי שפה רגילים.

מודל הגיון שכזה מתאים מאוד לפתרון ברמת דוקטור (PhD) של בעיות מורכבות, בעיקר מתמטיות, מדעיות והנדסיות. הוא מושלם לחישובים מורכבים ודברים כמו מתמטיקה, פיזיקה, פיתוח קוד והסקת מסקנות.

ואגב, מודל ריזונינג דורש כוח מחשוב משמעותי מהרגיל, לפחות במקרה של מודל ChatGPT 4o1 של OpenAI וקצת פחות במודל הסיני המפתיע DeepSeek, שפותח לכאורה בגרושים ומראה תוצאות מרשימות בדרישות חומרה נמוכות בהרבה.


#החשיבה דרך הבעיה
מודל היגיון, הוא מודל מנומק, שמשתמש בהיגיון כדי "לחשוב דרך" הבעיה ולהיות מסוגל גם להראות את תהליך החשיבה שביצע, לפני שנותן את התוצאות. זאת בניגוד למודלים הרגילים שמבצעים אופטימיזציה סבירה, רק כדי שיוכלו לספק את התשובה המהירה ביותר (שזה מה שגם גורם לא פעם למודל שפה רגיל לתרום לנו בדרך את ה"הזיות", אותן Halucinations המוכרות לנו כל כך).

בקיצור, אם מודל שפה רגיל הוא הבחור הטקסטואלי שהוא אלוף על טקסטים ועונה מהר, מודל ההיגיון הוא הנערה המבריקה והריאלית, שיכולה לפצח בעיות מופשטות, מתמטיות, פיזיקליות ומדעיות בתחומים ומדעים מדויקים, בלי למצמץ ועם יכולת לנמק ולהסביר את הפתרון שאליו היא מגיעה, צעד אחר צעד.

מודל כזה מבצע לעתים קרובות "שרשרת מחשבה" (Chain of Thought) ולכן גם מכונה כך לפעמים. המודל חושב צעד אחר צעד, בצורה שמזכירה את האופן שבו אנו, בני האדם, עשויים לגשת לאתגר משמעותי יותר כמו פיתוח אפליקציה חדשה, תכנון חופשה או בניית בית.


#היתרון
משמעותו של מודל כזה היא ביכולת שלו לספק תשובות מדויקות ומושכלות לשאלות מורכבות, לפתור בעיות ולקבל החלטות מבוססות נתונים. לכן וכדי להצטיין בבעיות מסובכות יותר, מומלץ להזין אותו בכמה שיותר הקשר, קונטקסט (Context) לגבי הנושא והגישה לפתרון.


#במה הם יכולים לעזור לנו?
מודלים כאלו יכולים לנתח כמויות גדולות של נתונים במהירות ובדיוק, לזהות דפוסים ולהסיק מסקנות. הם יכולים לפתור בעיות מורכבות על ידי שימוש בלוגיקה ובאלגוריתמים מתקדמים.

ביכולתם גם לסייע בקבלת החלטות מבוססות נתונים, מה שיכול להיות מועיל בתחומים כמו רפואה, כלכלה וניהול. בנוסף, הם יכולים להסיק מסקנות לוגיות על בסיס הנתונים שנתונים להם, מה שיכול לסייע בתחזיות ובתכנון.

מודלי ההיגיון יכולים לחסוך זמן ומאמץ בביצוע משימות מורכבות, מה שמאפשר למשתמשים להתמקד בפעילויות אחרות. ביכולתם לספק תשובות מדויקות ומבוססות עובדות, מה שיכול להיות מועיל בתחומים כמו רפואה, משפטים והנדסה.

מודלים אלו מסייעים בקלות בקבלת החלטות מושכלות ומבוססות נתונים, מה שיכול להיות מועיל בחיי היומיום ובעבודה והם יכולים גם לסייע בפתרון בעיות מורכבות במהירות וביעילות, מה שיכול להיות מועיל בתחומים רבים.

ברפואה, מודלי היגיון יכולים לסייע באבחון מחלות ובמתן המלצות לטיפול על בסיס נתונים רפואיים.

בכלכלה, ניתן להסתייע בהם בניתוח שוק ההשקעות ובקבלת החלטות כלכליות מבוססות נתונים.

בחינוך, המודלים הללו יכולים לסייע בהוראה ובלמידה על ידי סיפוק הסברים מדויקים ומושכלים לשאלות מורכבות.

בניהול, הם מעולים הסיוע לניהול משאבים מוצלח ובקבלת החלטות ניהוליות מבוססות נתונים.

אז אם לסכם, מודל היגיון הוא כלי חזק שיכול לסייע במגוון רחב של תחומים ולשפר את איכות החיים של המשתמשים, על ידי סיפוק תשובות מדויקות ומבוססות עובדות. עם יכולותיו הוא מאפשר לנתח נתונים במהירות, לפתור בעיות מורכבות ולקבל החלטות מבוססות נתונים, מה שהופך אותו לאחד הכלים החיוניים ביותר בדור החדש של העידן הדיגיטלי מבוסס הבינה המלאכותית.


הנה מודל ההגיון הסיני Deepseek R1 שיודע לחשוב מראש, לתכנן, להשוות כמה תשובות אפשריות, לפרק את הבעיה לחלקים, לחזור אחורה ולחשוב מחדש על השאלה וכך לענות היטב על שאלות קשות, מורכבות ועד לא מזמן בלתי אפשריות למודל שפה:

https://youtu.be/-2k1rcRzsLA


דוגמה לבעיות פשוטות מהחיים שמודל מנומק יכול לפתור:

https://youtu.be/yQampjl6gPI


שניים כאלה:

https://youtu.be/rzMEieMXYFA


ו-DeepSeek R1 הוא מודל מנומק בקוד פתוח:

https://youtu.be/yT3KGbiA09Q

LoRA, ובעברית לורה (Low-Rank Adaptation) היא טכניקה בעולם ה-GenAI, העולם של הבינה המלאכותית היוצרת. היא מאפשרת כוונון עדין (fine-tuning) של מודלי AI גדולים (LLMs) וכלליים מדי, להתאמה של מודלים קיימים לצרכים ספציפיים בצורה יעילה וחסכונית במשאבים.

מפני שההסבר הטכני הזה כנראה לא מובן מדי, נסביר את הלורה באמצעות דוגמה פשוטה:

נניח שיש לנו מודל AI שיודע לג'נרט (generate), כלומר לצייר בבינה מלאכותית. אנחנו רוצים שהוא ייצר דמויות בסגנון אנימה או דמות מסוימת, שמשום מה הוא אינו מכיר, כי היא לא הייתה בדאטה שהוא אומן עליו.

לכן, במקום לבקש שיאמנו את המנוע, או המודל הגדול, מחדש על המון ציורי אנימה, או להמתין בסבלנות מתסכלת עד שיום אחד הוא כן יכיר את הסגנון או הדמות הספציפית, נשתמש בטכניקה שונה. טכניקת הלורה.

ב-LoRA, כדי ללמד את המודל על הסגנון הזה או על הדמות המסוימת שאנחנו רוצים, מאפשרים לנו לאמן אותו בעצמנו, בעזרת דוגמאות בודדות ש"נראה לו", כלומר נטען אליו ב-Upload.

השיטה היעילה הזו לכוונון עדין של מערכות AI, מתאימה במיוחד ליצירת תמונות ריאליסטיות, למשל, להתאמה של סגנונות עיצוביים או ליצירת דמויות עקביות בפרויקטים גרפיים, תוך שימוש בכמות קטנה יחסית של נתוני אימון.

כך נוכל ליצור, למשל את אותה דמות מדויקת, בסצנות שונות של סרטון שמייצר ה-AI או בציורי קומיקס רציפים שנוצרים כך.

כלומר,ה-LoRA נועדה להוסיף שכבת משקולות חדשה למודל המקורי, מבלי לשנות אותו, תוך כדי קיצור של זמן האימון ושיפור של הגמישות שלו.

ואגב, השיטה עובדת עבור כל רשת עצבית ולא רק עבור מודלי שפה גדולים LLMs (קראו עליהם בתגית "LLM").


הנה הסבר של רעיון ה-LoRA:

https://youtu.be/lixMONUAjfs


כך יוצרים LoRA במערכת ספציפית:

https://youtu.be/HfwFgkFCtpM


ויצירת לורה של דמות מוכרת:

https://youtu.be/KEv-F5UkhxU?long=yes

מאסימוני הטלפונים ועד עולם אבטחת מערכות מחשוב, טוקן (Token), בעברית “אסימון”, הוא מושג המשתנה בהתאם להקשר שבו הוא מוזכר. אפילו בתוך עולם המחשבים יש למושג טוקן כמה שימושים.

בלמידת מכונה, אחת הזירות המרתקות של העידן המודרני והתחום בו פועלים מודלי השפה הפופולריים של ימינו, כמו Claude או ChatGPT, לטוקנים יש משמעות אדירה.

אותם מודלים גדולים, LLMs, הם מודלים מתמטיים. כדי לבצע את המשימות שאנו מבקשים מהם, תוך כדי תקשורת איתם בשפה טבעית, כמו אנגלית, עברית וכדומה, הם משתמשים בתהליך שנקרא "טוקניזציה" (Tokenization).

במרכז הטוקניזציה נעשה פילוח של הטקסטים שהמודלים הללו מקבלים כנתונים, כדאטה, ליחידות קטנות יותר, תרגום של חלקי המידע הקטנים למספרים, כשאת יחידות המידע הללו, שהומרו למספרים, הם ינתחו בהמשך.

כך, אחרי שמסתיימת הטוקניזציה, הם מייצרים מהמידע טוקנים, מספרים שכל אחד מהם מייצג פריט מידע קטן. ה"טוקן" משמש בהם בתפקיד "אסימון למידת המכונה", שמתאר באופן מתמטי את יחידות הטקסט הקטנות. אלה מעין יחידות מידה שהמודלים המוכרים יוצרים מהקונטקסט.

לאחר שסיימו להפוך את המידע לטוקנים, מרבית המודלים שאנו מכירים הטוקנים משמשים לייצוג של הטקסט, ביחידות קטנות שהמודל מעבד בצורה מתמטית.

כשאנו משתמשים בטוקנים, זה כדי לסייע למודל להבין את המבנה של הטקסט, כך שיוכל לבצע על פיו את החישובים שלו. טוקן אחד יכול להיות כל חלק ממילה בשפה הרגילה שלנו, או אפילו תו אחד.

כדי להבין ולהגיב לקלט, המודל משתמש בכמות מסוימת של טוקנים. וטוקן יכול להיות כל פיסת מידע, מתו בודד ועד מילה שלמה ולעתים גם יותר. יש שיטות שונות של טוקניזציה והבחירה ביניהן היא בהתאם לאלגוריתם בו משתמשים. יש שהאסימון הוא לפי תווים (Character tokenization), אסימון לפי מילים, לפי משפט, ביטויים, טוקניזציה לפי מילת משנה ולפי מספר.

בשיחה על מודל AI (ה-LLM, כמו ChatGPT או Claude) משמש הטוקן לציון גודל השיחה על המודל והיקף המידע שיכול להיות בה. לכל מודל יש מגבלה של זיכרון התוכן שהוא יכול לעבד בשיחה אחת ולהתבסס עליו בתשובות שלו ובמהלך השיחה.

כל הטקסט שהמודל מכיל ובא מהקלט שמזרים לו המשתמש, כולל השאלות והתשובות וכל מידע נוסף, כל אלו מכונים "קונטקסט" (Context), כלומר "ההקשר".

חלון ההקשר (Context window), או "חלון הקונטקסט", מייצג את כמות התוכן שהמודל יכול לעבד בשיחה עם משתמש. הכמות הזו נספרת בטוקנים. אם קלוד, למשל, תומך ב-200 אלף טוקנים, זה אומר שהשיחה יכולה לכלול כ-40 אלף מילים. אם לג'מיני של גוגל יש מיליון טוקנים, זה אומר פי 5 יותר מילים וגודל חלון הקונטקסט שלה, כלומר השיחות עם ג'מיני הוא של כ-2 ספרים ממוצעים.

גם מהירויות של מודלים מודגמת לא פעם בטוקנים לשנייה. לא נדיר לראות השוואת מהירויות כמו "מודל ה-Sonar החדש של Perplexity מגיע לביצועים של עד 1200 טוקנים לשניה, בהשוואה ל-75 טוקנים לשניה בלבד של המודל Claude 3.5 Sonnet" או 140 טוקנים לשניה של Gemini 2.0 Flash של גוגל".


טוקניזציה כפי שהיא נעשית בידי מדעני נתונים:

https://youtu.be/fNxaJsNG3-s


פרמטרים וטוקנים הם לא הכל במודלים:

https://youtu.be/a1nqXQMOCks


הסבר של Machine Learning Token באנגלית:

https://youtu.be/mnqXgojQCJI


וטוקניזציה באתרי אינטרנט שיכולה לשמש בהקשר אחר כאמצעי אבטחה:

https://youtu.be/Y7I4IDojhJk

פרמטרים בלמידת מכונה (Machine Learning parameters), אם רוצים להבין מהם, אז כדאי לחשוב עליהם בתור המשתנים שקובעים את איכות ה"חשיבה" של מודל AI.

תפקידי הפרמטרים במודל שפה הם להבין הקשרים מורכבים בשפה, לחזות את המילה הבאה ברצף הטקסט שמפיק המודל ובסופו של דבר להצליח לייצר טקסט קוהרנטי (הגיוני) ומשמעותי.

אגב, במקום במילים זכרו שהטקסטים נבנים באמצעות טוקנים - ראו בתגית "טוקנים".

אבל עכשיו, אחרי שהסברנו בפשטות, הבה נפרט יותר ונרד לאיך זה נעשה: פרמטרים הם שלוכדים את הקשרים הסטטיסטיים שבין מילים ומושגי שפה שנמצאו בנתוני האימון. אפשר לדמות אותם למעין "כפתורים" בתוך המודל, שניתן לכוונם בכדי לשפר את יכולת המודל לעבד ולייצר שפה אנושית ומרשימה כל כך.

דמיינו שהידע על השפה מזוקק לתוך הפרמטרים ואז, בדומה למערכת סאונד שבה טכנאי הקול מכוונן את הכפתורים כדי להשיג את איכות הצליל הטובה ביותר, מהנדסי ה-AI מכוונים את מיליארדי הפרמטרים כדי להגיע לאיכות הגבוהה ביותר של התוצרים שהמודל ייצר.

בעצם, פרמטרים במודלים של בינה מלאכותית הם בקרי הגדרות פנימיות במודל שניתן לכוון במהלך האימון ועל ידי כך לשפר את יכולתו לעבד ולייצר שפה, תשובות ותגובות טובים יותר.

כלומר, ככל שיש במודל שפה יותר פרמטרים, גדלה גם חוכמתו ויכולתו לעשות שימוש במגוון המידע שנאגר בו. באמצעות הפרמטרים שולטים המהנדסים ברמה בה מודל AI מבין ויוצר שפה.

במהלך האימון, ערכי הפרמטרים מכוונים ומתעדכנים כדי לקודד דפוסים ממערכי הנתונים העצומים עליהם מאומנים המודלים הללו. הפרמטרים לוכדים את הקשרים הסטטיסטיים בין מילים ומושגי שפה שנמצאו בנתוני האימון. עבודה טובה איתם מאפשרת חשיבה טובה ומורכבת יותר ושימוש יותר מוצלח בידע שהמודל צבר, מה שיאפשר תגובות ותוצרים מדויקים יותר.

אגב, מספר הפרמטרים משקף בדרך כלל את גודל המודל. מודלים גדולים יותר יכולים להבין או לתפוס מורכבויות רבות יותר של שפה. מצד שני, הם גם יקרים יותר להפעלה, דורשים כוח מחשוב רב יותר ויש להם השפעה סביבתית רבה יותר, שהיא המחיר שאנו משלמים על כל ה-AI הזה.

אבל חשוב להבין שמספר הפרמטרים אינו המדד היחידי ליעילות המודל. לא פחות חשובה היא איכות הנתונים שעליהם אומן המודל. מודל קטן יותר שאומן על נתונים איכותיים יותר עשוי לבצע את המשימות טוב יותר ממודל גדול יותר שאומן על נתונים פחות מוצלחים.

כלומר, חיבור של כמות הפרמטרים, לצד איכות האימון, רמת הדאטה שעליו אומן המודל והיעילות הכוללת שלו הם המפתח ליכולות של מודל שפה.


הנה הפרמטרים במודל AI ואיך הם משתלבים בתמונה הכללית:

https://youtu.be/mnqXgojQCJI


פרמטרים וטוקנים הם לא הכל במודלים:

https://youtu.be/a1nqXQMOCks


והפרמטרים כחלק מהבינה היוצרת בכללה:

https://youtu.be/r17HV0TzAWw?long=yes