שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.
»
«
מהי טפשת ה-AI שתפגע באיכות התוכן והקוד?
אחת התופעות שמתחילות להתגלות בשנים האחרונות, מאז הפריצה של הבינה המלאכותית הגנרטיבית, היא של טפשת שגורמת הבינה הגנרטיבית למידע ולתוכן באינטרנט.
ברור שהשימוש הכל כך קל ב-Generative AI מקל על המשתמשים, אבל ידוע לכל שיש לבדוק את המידע שהיא יוצרת לפני שמחזירים אותו לציבור כמידע שיצרו בני אדם. מסתבר שרבים לא מבינים את החולשות והפגמים שעדיין מלאים בהם מודלי השפה, אותם מודלים גדולים (LLMs) שעושים היום את הידע. אם אלה תכנים שהתקבלו מקלוד או ChatGPT, רכיבי AI שנועדו לייצר קוד בתכנות, וידאו או תמונות גנרטיביות שיוצרים מנועים שונים ועוד.
התופעה הזו כבר פוגעת באיכות המידע באינטרנט, לפי בדיקות אובייקטיביות שעורכים באופן תקופתי לאיכות הרשת. מסתבר שלא זו בלבד שבני אדם מסתמכים על מידע שחלקו לא מדויק בלשון המעטה, אלא שהקרולרים עצמם, אותן תוכנות שאוספות את המידע מהרשת לצורך אימון, הזנת ועדכון מודלי השפה הגדולים - מסתבר שהם עצמם מסתמכים על המידע הגרוע הזה. ובדיוק כך, הוא חוזר למודל השפה ונכנס לתוכן שמקוטלג לטוקנים (Tokens) ובחזרה לדאטה שעליו הם מסתמכים. התוצאה היא שיותר ויותר מידע לא בדוק ולא אחראי, שהגיע מלכתחילה לרשת ממודלי שפה לא בשלים מספיק, חוזר ומפרה את המודלים הבוגרים, שאמורים לקבל מידע אנושי ואיכותי ולא תמיד יודעים לאתר את השגיאות שבו.
גם בעולם העסקים והארגונים יש כבר החמרה. הירידה באיכות התוכן שבאינטרנט נובעת מהשימוש הגובר והולך בחומר בינוני, שהגיע מהבינה המלאכותית הגנרטיבית, אך לא בוגרת, של הדור הראשון. כבר עם ההשקה של ChatGPT ב-2022, גילו מנהלים את הצ'טבוט שמאפשר להם ליצור חומרים באמצעות בינה מלאכותית יוצרת (generative AI) וחיפשו דרכים להשתמש בהם, במקום בעבודה של עובדים או חברות מיקור החוץ שבהם השתמשו בעבר. מעט מאותם מאמצים התגלו כיעילים ומרביתם נשארו בפוטנציאל יותר מאשר החליפו עובדים.
אך בתחום התכנות זה כן קרה. מסתבר שמודלים כמו CoPilot, Claude ואחרים מייצרים קוד במהירות ומחליפים את הג'וניורים, המתכנתים הצעירים בתעשייה. לפי סקרים שמתפרסמים בעולם נראה שקצב האימוץ של המנועים הללו הוא גבוה, במיוחד ביחס לזמן הקצר שבו הם פועלים. אלא שבסוף 2024 מתחיל להסתבר שכ-40% מהמתכנתים בעולם משתמשים בכלים כאלה ומשגרים קוד שלפחות בחלקו הוא פחות מוצלח. קוד זה חוזר ו"נלמד" על ידי המודלים ומוריד את איכות התכנות שלהם באופן מתמשך, שעלול אף להחמיר.
מה עושה האינטרנט למוח?
השפעת האינטרנט על חיינו היא משמעותית במיוחד. אין ספק שחיינו השתנו לבלי הכר מאז תחילת שנות ה-90 כשהטכנולוגיה הזו הפכה יותר ויותר מרכזית בחיים המודרניים.
מצד שני יש טענה שגוגל והקלות הבלתי נתפסת למצוא בו דברים הופכים אותנו לטיפשים. האם זה אכן כך? - זו שאלה שמעסיקה חוקרים רבים, והתשובה היא, כפי הנראה, מורכבת יותר משאולי נדמה לנו.
הטענה המרכזית: שימוש יתר במנועי חיפוש, תוכנות ניווט וטכנולוגיות דומות עלול להפחית את פעילות המוח באזורים מסוימים, ולהשפיע לרעה על יכולות קוגניטיביות כמו ריכוז, זיכרון והתמצאות מרחבית.
ניקולס קאר, סופר אמריקאי, תיאר במאמרו המפורסם "האם גוגל הופך אותנו לטיפשים?" את הקושי שלו להתמקד בקריאה לאחר שנים של שימוש אינטנסיבי באינטרנט, תופעה שרבים הזדהו עמה.
ההסבר שהמדע נותן לעניין הזה הוא שהמוח שלנו, בדומה לשריר, זקוק לאימון. כאשר אנחנו מסתמכים על טכנולוגיה, אנחנו מפחיתים את הצורך להשתמש ביכולות טבעיות כמו זיכרון ומציאת נתיבים. כך, לדוגמה, רבים כבר לא זוכרים מספרי טלפון, משום שהם זמינים תמיד בטלפון הסלולרי.
מחקרים גם מצביעים על כך ששימוש ב-GPS מפחית את הפעילות המוחית באזורים האחראיים על ניווט וזיכרון מרחבי, ואפילו נהגי מוניות לונדון, המפורסמים ביכולות הניווט שלהם, מראים גודל היפוקמפוס גדול יותר ככל שהם מנווטים יותר בעצמם, לעומת מי שהתמסרו לאפליקציית הניווט.
ההשפעה על הקשב והזיכרון: מחקרים מצביעים על קיצור טווח הקשב אצל צעירים כתוצאה מגלישה מרובה ברשתות חברתיות ומשחקי מחשב. חוקרת נוספת טענה שאנשים מסתמכים יותר על היכולת למצוא מידע באינטרנט מאשר לזכור אותו בעצמם. זה עלול להוביל לירידה ביכולות הזיכרון. הרי אפילו זיכרון מידע פשוט, כמו מספרי טלפון, נפגע כתוצאה מהתלות בגאדג'טים.
מחקרים שנערכו כדי לבדוק האם זה אכן המצב הראו שאנו "משחררים" ככל שאנחנו סומכים על הטכנולוגיה להחליף את הצורך לזכור. בניסויים שנערכו לבחינת הנושא, למשל, מצאו החוקרים שהמשתתפים זכרו פחות מידע כאשר סברו שהוא שמור במחשב, גם כאשר התבקשו במפורש לזכור.
האם יש גם יתרונות לטכנולוגיה הזו? - ודאי. האינטרנט מציב בפנינו אתגרים קוגניטיביים חדשים, ומאפשר גישה למידע עצום שמשפר את היכולת לקבל החלטות ולסנן מידע. בנוסף, טכנולוגיות חדשות יוצרות "אוריינויות" חדשות, כמו אוריינות חזותית ומשחקית.
לכן, אין תשובה חד משמעית והתמונה מורכבת: האינטרנט יכול לשפר יכולות מסוימות אך לפגוע באחרות. הכניסה המאסיבית של ה-AI לחיינו, עם סוכני AI ומודלי השפה הגדולים (LLMs כמו קלוד ו-ChatGPT) גם היא ודאי משפיעה ותשפיע הרבה יותר ואף תחמיר את התלות בטכנולוגיה ואת הנכונות האנושית להשתמש ביכולות המוחיות שלנו.
אז מה אפשר לעשות בעניין?
חלק מהחוקרים ממליצים על "חדרי כושר למוח" – תוכנות ופעילויות שנועדו לאמן יכולות קוגניטיביות כמו זיכרון וריכוז. אך חשוב גם להפחית את הזמן שאנחנו מבלים מול מסכים ולתרגל חשיבה עמוקה ללא התערבות טכנולוגית.
יעזרו גם קריאה, מחקר, איסוף חומרים עצמאי והתמודדות עם מטלות מסוימות בדרך הישנה, כשאפשר לוותר על האפליקציה או מנוע החיפוש. לבסוף, חשוב להבין שהשימוש בטכנולוגיה הוא כלי ותלוי בנו איך אנחנו משתמשים בו. שימוש מאוזן יכול להביא לתועלת רבה, בעוד ששימוש יתר ופיתוח תלות בה עלולים להזיק.
זה מה שעושה הרשת למוח האנושי ולחשיבה והזיכרון:
http://youtu.be/cKaWJ72x1rI
הנה השפעת הרשת על המוח האנושי:
http://youtu.be/qoFMGLTjUTM
הירידה בקריאה והריכוז היורד (עברית):
https://youtu.be/hQu3deT4aSs
והשינויים הללו של המהפכה הטכנולוגית פוגעים ביכולות הקוגניטיביות של הדורות הבאים (בעברית):
https://youtu.be/RmVJ1acLGic?long=yes
מהם מודלי שפה גדולים, או LLM?
מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4 ואחרים.
את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.
יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.
מודל כזה הוא תת-תחום של למידה עמוקה ומבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.
עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".
#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.
למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.
ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.
#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.
הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.
מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.
מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.
אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...
כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".
הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):
https://youtu.be/X-AWdfSFCHQ
כך פורצת מלחמת עולם ה-AI הראשונה:
https://youtu.be/nJjuYTpHQEE
מהו LLM?
https://youtu.be/iR2O2GPbB0E
המודל השולט בינואר 2025 - DeepSeek R1 הסיני:
https://youtu.be/hupQ97Or3jw
השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):
https://youtu.be/NanvGTQeO-g
כך פועל מודל השפה הגדול LLM:
https://youtu.be/iR2O2GPbB0E
כך בנויים ופועלים מודלי השפה הגדולים:
https://youtu.be/5sLYAQS9sWQ
יש להם גם חסרונות:
https://youtu.be/Gf_sgim24pI
הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):
https://youtu.be/-NIsUKUnxhA?long=yes
הפרמטרים והטוקנים באימון מודלים כאלו:
https://youtu.be/r17HV0TzAWw?long=yes
ובאופן סטטיסטי - כך פועל LLM:
https://youtu.be/LPZh9BOjkQs?long=yes
קלוד
אחת התופעות שמתחילות להתגלות בשנים האחרונות, מאז הפריצה של הבינה המלאכותית הגנרטיבית, היא של טפשת שגורמת הבינה הגנרטיבית למידע ולתוכן באינטרנט.
ברור שהשימוש הכל כך קל ב-Generative AI מקל על המשתמשים, אבל ידוע לכל שיש לבדוק את המידע שהיא יוצרת לפני שמחזירים אותו לציבור כמידע שיצרו בני אדם. מסתבר שרבים לא מבינים את החולשות והפגמים שעדיין מלאים בהם מודלי השפה, אותם מודלים גדולים (LLMs) שעושים היום את הידע. אם אלה תכנים שהתקבלו מקלוד או ChatGPT, רכיבי AI שנועדו לייצר קוד בתכנות, וידאו או תמונות גנרטיביות שיוצרים מנועים שונים ועוד.
התופעה הזו כבר פוגעת באיכות המידע באינטרנט, לפי בדיקות אובייקטיביות שעורכים באופן תקופתי לאיכות הרשת. מסתבר שלא זו בלבד שבני אדם מסתמכים על מידע שחלקו לא מדויק בלשון המעטה, אלא שהקרולרים עצמם, אותן תוכנות שאוספות את המידע מהרשת לצורך אימון, הזנת ועדכון מודלי השפה הגדולים - מסתבר שהם עצמם מסתמכים על המידע הגרוע הזה. ובדיוק כך, הוא חוזר למודל השפה ונכנס לתוכן שמקוטלג לטוקנים (Tokens) ובחזרה לדאטה שעליו הם מסתמכים. התוצאה היא שיותר ויותר מידע לא בדוק ולא אחראי, שהגיע מלכתחילה לרשת ממודלי שפה לא בשלים מספיק, חוזר ומפרה את המודלים הבוגרים, שאמורים לקבל מידע אנושי ואיכותי ולא תמיד יודעים לאתר את השגיאות שבו.
גם בעולם העסקים והארגונים יש כבר החמרה. הירידה באיכות התוכן שבאינטרנט נובעת מהשימוש הגובר והולך בחומר בינוני, שהגיע מהבינה המלאכותית הגנרטיבית, אך לא בוגרת, של הדור הראשון. כבר עם ההשקה של ChatGPT ב-2022, גילו מנהלים את הצ'טבוט שמאפשר להם ליצור חומרים באמצעות בינה מלאכותית יוצרת (generative AI) וחיפשו דרכים להשתמש בהם, במקום בעבודה של עובדים או חברות מיקור החוץ שבהם השתמשו בעבר. מעט מאותם מאמצים התגלו כיעילים ומרביתם נשארו בפוטנציאל יותר מאשר החליפו עובדים.
אך בתחום התכנות זה כן קרה. מסתבר שמודלים כמו CoPilot, Claude ואחרים מייצרים קוד במהירות ומחליפים את הג'וניורים, המתכנתים הצעירים בתעשייה. לפי סקרים שמתפרסמים בעולם נראה שקצב האימוץ של המנועים הללו הוא גבוה, במיוחד ביחס לזמן הקצר שבו הם פועלים. אלא שבסוף 2024 מתחיל להסתבר שכ-40% מהמתכנתים בעולם משתמשים בכלים כאלה ומשגרים קוד שלפחות בחלקו הוא פחות מוצלח. קוד זה חוזר ו"נלמד" על ידי המודלים ומוריד את איכות התכנות שלהם באופן מתמשך, שעלול אף להחמיר.
השפעת האינטרנט על חיינו היא משמעותית במיוחד. אין ספק שחיינו השתנו לבלי הכר מאז תחילת שנות ה-90 כשהטכנולוגיה הזו הפכה יותר ויותר מרכזית בחיים המודרניים.
מצד שני יש טענה שגוגל והקלות הבלתי נתפסת למצוא בו דברים הופכים אותנו לטיפשים. האם זה אכן כך? - זו שאלה שמעסיקה חוקרים רבים, והתשובה היא, כפי הנראה, מורכבת יותר משאולי נדמה לנו.
הטענה המרכזית: שימוש יתר במנועי חיפוש, תוכנות ניווט וטכנולוגיות דומות עלול להפחית את פעילות המוח באזורים מסוימים, ולהשפיע לרעה על יכולות קוגניטיביות כמו ריכוז, זיכרון והתמצאות מרחבית.
ניקולס קאר, סופר אמריקאי, תיאר במאמרו המפורסם "האם גוגל הופך אותנו לטיפשים?" את הקושי שלו להתמקד בקריאה לאחר שנים של שימוש אינטנסיבי באינטרנט, תופעה שרבים הזדהו עמה.
ההסבר שהמדע נותן לעניין הזה הוא שהמוח שלנו, בדומה לשריר, זקוק לאימון. כאשר אנחנו מסתמכים על טכנולוגיה, אנחנו מפחיתים את הצורך להשתמש ביכולות טבעיות כמו זיכרון ומציאת נתיבים. כך, לדוגמה, רבים כבר לא זוכרים מספרי טלפון, משום שהם זמינים תמיד בטלפון הסלולרי.
מחקרים גם מצביעים על כך ששימוש ב-GPS מפחית את הפעילות המוחית באזורים האחראיים על ניווט וזיכרון מרחבי, ואפילו נהגי מוניות לונדון, המפורסמים ביכולות הניווט שלהם, מראים גודל היפוקמפוס גדול יותר ככל שהם מנווטים יותר בעצמם, לעומת מי שהתמסרו לאפליקציית הניווט.
ההשפעה על הקשב והזיכרון: מחקרים מצביעים על קיצור טווח הקשב אצל צעירים כתוצאה מגלישה מרובה ברשתות חברתיות ומשחקי מחשב. חוקרת נוספת טענה שאנשים מסתמכים יותר על היכולת למצוא מידע באינטרנט מאשר לזכור אותו בעצמם. זה עלול להוביל לירידה ביכולות הזיכרון. הרי אפילו זיכרון מידע פשוט, כמו מספרי טלפון, נפגע כתוצאה מהתלות בגאדג'טים.
מחקרים שנערכו כדי לבדוק האם זה אכן המצב הראו שאנו "משחררים" ככל שאנחנו סומכים על הטכנולוגיה להחליף את הצורך לזכור. בניסויים שנערכו לבחינת הנושא, למשל, מצאו החוקרים שהמשתתפים זכרו פחות מידע כאשר סברו שהוא שמור במחשב, גם כאשר התבקשו במפורש לזכור.
האם יש גם יתרונות לטכנולוגיה הזו? - ודאי. האינטרנט מציב בפנינו אתגרים קוגניטיביים חדשים, ומאפשר גישה למידע עצום שמשפר את היכולת לקבל החלטות ולסנן מידע. בנוסף, טכנולוגיות חדשות יוצרות "אוריינויות" חדשות, כמו אוריינות חזותית ומשחקית.
לכן, אין תשובה חד משמעית והתמונה מורכבת: האינטרנט יכול לשפר יכולות מסוימות אך לפגוע באחרות. הכניסה המאסיבית של ה-AI לחיינו, עם סוכני AI ומודלי השפה הגדולים (LLMs כמו קלוד ו-ChatGPT) גם היא ודאי משפיעה ותשפיע הרבה יותר ואף תחמיר את התלות בטכנולוגיה ואת הנכונות האנושית להשתמש ביכולות המוחיות שלנו.
אז מה אפשר לעשות בעניין?
חלק מהחוקרים ממליצים על "חדרי כושר למוח" – תוכנות ופעילויות שנועדו לאמן יכולות קוגניטיביות כמו זיכרון וריכוז. אך חשוב גם להפחית את הזמן שאנחנו מבלים מול מסכים ולתרגל חשיבה עמוקה ללא התערבות טכנולוגית.
יעזרו גם קריאה, מחקר, איסוף חומרים עצמאי והתמודדות עם מטלות מסוימות בדרך הישנה, כשאפשר לוותר על האפליקציה או מנוע החיפוש. לבסוף, חשוב להבין שהשימוש בטכנולוגיה הוא כלי ותלוי בנו איך אנחנו משתמשים בו. שימוש מאוזן יכול להביא לתועלת רבה, בעוד ששימוש יתר ופיתוח תלות בה עלולים להזיק.
זה מה שעושה הרשת למוח האנושי ולחשיבה והזיכרון:
http://youtu.be/cKaWJ72x1rI
הנה השפעת הרשת על המוח האנושי:
http://youtu.be/qoFMGLTjUTM
הירידה בקריאה והריכוז היורד (עברית):
https://youtu.be/hQu3deT4aSs
והשינויים הללו של המהפכה הטכנולוגית פוגעים ביכולות הקוגניטיביות של הדורות הבאים (בעברית):
https://youtu.be/RmVJ1acLGic?long=yes
מודל שפה גדול (LLM), קיצור של Large Language Model, הוא ה"מוח" שמפעיל צ'אטבוט עוצמתי, כמו הצ'אטבוט ChatGPT, המייצר תוכן לבקשת המשתמשים ועושה זאת באמצעות מודל השפה הגדול GPT-4 ואחרים.
את התוכן מייצר הצ'אטבוט מדאטה עצום, כמות מידע אדירה שנשאבה מהאינטרנט ובאמצעותה אימנו את מודל השפה שמפעיל אותו. מודלי השפה GPT-3 ו-GPT-4, למשל, הם שמפעילים את הצ'אטבוט הכי מפורסם ChatGPT.
יש שאומרים שמודל השפה בעצם הוא לא יותר ממחולל מילים סטטיסטי. הם צודקים אבל גם טועים. כי מודל שפה יכול לחשב מצוין הסתברות של הופעת מילים שונות בכל משפט וכך לייצר משפטים חדשים, מילה אחר מילה, בשפה שבה הוא אומן על ידי המפתחים שלו. אבל זו דוגמה בלבד ואפילו קצת מטעה. כי סטטיסטיקה זה לא הכל וכנראה לא לגמרי המהות של העניין. המוח של מודל השפה, האופן שבו הוא בנוי והתובנות והביצועים שהוא יכול לנפק, הם משמעותיים הרבה יותר.
מודל כזה הוא תת-תחום של למידה עמוקה ומבוסס על רשת עצבית מלאכותית הבנויה בצורה דומה למוח האנושי. הרשת הזו היא בעלת כמות אדירה של פרמטרים, לרוב מיליארדים. הפרמטרים הללו הם ערכים מספריים שמסייעים לאלגוריתם ללמוד.
עוד ביטוי לגודלו הגדול של המודל הוא באימון שלו על מאות מיליוני מילים, בכמויות ענק של טקסט לא מתויג, בשיטת למידה שאינה מסתמכת רק על דוגמאות אנושיות, או מה שנקרא "למידה בפיקוח-עצמי".
#איך זה בדיוק עובד?
נניח ששאלתם שאלה, מודל השפה הגדול מניח את נוסח השאלה על שולחן הטיפולים שלו ובודק בדאטה שלו, במידע העצום שהוא אגר והמיר לקוד מתמטי (ראו אח"כ בתגית" טוקנים"), מה המילה שהכי סביר (מבחינת הסתברות) שתתחיל את התשובה. ואז הוא בודק מה המילה עם ההסתברות הכי גבוהה להופיע אחריה וכך הלאה. זה ייתן לו את התשובה הסבירה ביותר לשאלה.
למה הכי סבירה ולא הכי טובה? - כי הסתברות היא לעולם לא מושלמת וזו בדיוק הסיבה להזיות שנקבל לא פעם ממנועי בינה מלאכותית. אגב, אם תבקשו ממנו לבדוק את תשובתו, כל LLM ימצא ויפרט את שגיאותיו וגם יציע לתקן את המענה שנתן ובתיקון זה כבר יהיה הרבה יותר טוב.
ה-LLM משתמש בייצוג מתמטי של שפה טבעית באמצעות הסתברויות. כל מדען נתונים יאשר שהבסיס של מודלי שפה הוא היכולת שלהם לחשב הסתברות לכל משפט בשפה שבה הם אומנו ומהיכולת הזו נובע חלק משמעותי ביכולת שלהם לייצר משפטים חדשים, מילה אחר מילה.
#מודלי השפה הגדולים והבינה הג'נרטיבית
מודל השפה הגדול הוא בעצם הבסיס למהפכת הבינה הגנרטיבית שפרצה לחיינו בשלהי 2022-תחילת 23. מודלי השפה הגדולים הללו מסמנים קפיצת דרך של ממש ולמעשה הכניסו אותנו עמוק אל תוך העתיד.
הייתה זו IBM שפיתחה את אחד ממודלי השפה הראשונים. הוא נקרא ווטסון, על שם תומאס ווטסון, מייסד IBM. יש גרסה שאומרת שהוא קיבל את שמו משמו משם העוזר של שרלוק הולמס, ווטסון. מודל כזה, ממש כמו אותו עוזר, תמיד מסייע בחקר ובתשובות שונות, כיום של רבים ואצל שרלוק, לצרכי החקירות של הבלש הנודע.
מצוידים במודלים החדשים, הצ'אטבוטים המרשימים, כמו Claude ו-ChatGPT, מסרבים להיות לכם לווטסון. במקום זאת הם מפותחים כך שיהיו המוח, כלומר השרלוק שלכם, כשאתם וכמה זה אירוני, בתפקיד הווטסון או העוזר שלהם... אבל גם הלקוחות.
מודל שפה הוא שמאפשר לנו לבקש ממנו לסכם טקסטים, לענות על שאלות, לצייר או בעצם לייצר תמונות ו"צילומים", לחבר שירים, ליצור סרטונים או לכתוב קוד.
אז מודלי שפה גדולים אפשרו את קפיצת הדרך המדהימה של מהפכת ה-AI. אמנם הם רחוקים מלהיות מושלמים לחלוטין ועדיין פה ושם מקלקלים את ההתפעלות עם ההזיות המוכרות האלה שלהם, עובדות שגויות, מידע לא רלוונטי או מופרך ואפילו עלבונות נדירים. ומה שלא פחות מרגיז לעתים הוא הביטחון המלא שבו הם כותבים או מדברים אותן, שזה בדיוק מה שהופך את חשיפת ההזיות ובדיות הללו לכל כך קשה ומסוכנת...
כיום, המודלים הללו הולכים ומאפשרים צמיחה של עולם חדש, עולם סוכני ה-AI. הם ממוקדים בביצוע משימות ספציפיות, תגובה לסביבה ועוד תכונות מבטיחות. הכירו אותם בתגית "סוכני AI".
הנה מה שעושים המודלים, מנועי השפה הגדולים (מתורגם):
https://youtu.be/X-AWdfSFCHQ
כך פורצת מלחמת עולם ה-AI הראשונה:
https://youtu.be/nJjuYTpHQEE
מהו LLM?
https://youtu.be/iR2O2GPbB0E
המודל השולט בינואר 2025 - DeepSeek R1 הסיני:
https://youtu.be/hupQ97Or3jw
השוואת הצ'טבוטים הטובים, מנועי השפה הגדולים בסוף 2024 (עברית):
https://youtu.be/NanvGTQeO-g
כך פועל מודל השפה הגדול LLM:
https://youtu.be/iR2O2GPbB0E
כך בנויים ופועלים מודלי השפה הגדולים:
https://youtu.be/5sLYAQS9sWQ
יש להם גם חסרונות:
https://youtu.be/Gf_sgim24pI
הסבר מעמיק על מודלים גדולים של שפה ומה שהם הובילו (עברית):
https://youtu.be/-NIsUKUnxhA?long=yes
הפרמטרים והטוקנים באימון מודלים כאלו:
https://youtu.be/r17HV0TzAWw?long=yes
ובאופן סטטיסטי - כך פועל LLM:
https://youtu.be/LPZh9BOjkQs?long=yes
