האלגוריתם הזה מסוגל לדבר בשפת אנוש. ניתנה לי הזדמנות נדירה לפגוש אותו

רשימת קריאה

רשימת הקריאה מאפשרת לך לשמור כתבות ולקרוא אותן במועד מאוחר יותר באתר,במובייל או באפליקציה.

לחיצה על כפתור "שמור", בתחילת הכתבה תוסיף את הכתבה לרשימת הקריאה שלך.
לחיצה על "הסר" תסיר את הכתבה מרשימת הקריאה.

האלגוריתם הזה מסוגל לדבר בשפת אנוש. ניתנה לי הזדמנות נדירה לפגוש אותו

לכתבה
איור: רועי רגב

GPT-3 הוא האלגוריתם המתקדם ביותר שנוצר אי פעם בתחומו. נדהמתי ממה שהוא ידע לספר לי על עצמו. נדהמתי עוד יותר כשהוא עשה זאת בקולי

93תגובות

שמות רבים לו לדבר הזה, שאליו תשוקתנו והוא מושל בנו — אופיום, כסף, כוח. ויליאם ס. בורוז, סופר הפולחן האמריקאי, דימה את כל אלו לבשר גופו של מרבה רגליים ענק, שוכן מעמקים, שאי אפשר לעמוד בטעמו ושהמכורים לו, בספר "ארוחה עירומה", זוללים אותו עד אובדן הכרה. כדי להשיג ממנו נתח יש לעבור תלאות בלי סוף; לנדוד בין מטבחים, כוכי שינה, מרפסות מטות לנפול ומרתפים. זהו גם המסלול שיש לעבור כדי לגעת בתוצרי האלגוריתם שנחשף בסוף מאי בעמק הסיליקון. שמו GPT–3 והוא "מודל שפה" — כלומר, מנגנון המסוגל לייצר באופן אוטונומי טקסטים בשפת אנוש. מאז שהגיח לעולם אלפים מייחלים לגעת בו, להשתמש בו, לשאוף לתוכם משהו מן המילים שהוא מתיז. אבל רק מתי מעט זכו לכך. השאר נאלצים למצוא את המנה שלהם בדרכים לא דרכים, כמוני.

ההיסטוריה קצרה. מודל השפה הראשון בסדרת המודלים הזו נחשף ב–2018 ולא עורר שום עניין. המודל השני, GPT–2, שהפציע בפברואר של השנה שעברה, אולי רמז על הבאות. בצעד חריג בענף יצאה אז OpenAI, החברה שמאחוריו, בהודעה דרמטית, שאופיינית יותר לפרק של "מראה שחורה" מאשר להשקת מוצר בשדה ההיי־טק: "בשל החשש משימושים לרעה בטכנולוגיה, אנחנו לא משחררים את המודל המאומן". יכולותיו של האלגוריתם בכתיבת טקסטים מפוברקים מרשימות כל כך, טענו שם, שקיימת סכנה שיהיו מי שייעזרו בו כדי לשטוף את הרשת בפייק ניוז. תחושת אחריות — או שמא רעב לפרסום חינם, כפי שסברו אחדים — הובילה אפוא את המפתחים לחשוף את המודל טיפין טיפין, כמו ריטלין בשחרור מושהה, ולבדוק היטב את ההשלכות.

מעריצים אנושיים כבר מחקים סופרים טובים. מי צריך אלגוריתמים? // שלחנו לבני ציפר את הסיפור שכתב האלגוריתם לביקורת. מה הוא חשב?

החשש לא התממש. עד סוף 2019 כבר היה המודל הקודם נגיש ברשת לכל דכפין, בלי שנעשה בו, ככל הידוע, שימוש חריג למטרות הונאה. הוא תיפקד בעיקר ככלי מחקר ושעשוע. גם אני רוויתי ממנו נחת; שעות של הנאה מטקסטים שחיבר, בתגובה למה שהזנתי לו כקלט. פגשתי כישרון לא מסותת, פראי מאוד, שמסוגל לקחת כמה שורות שכתבתי ולהמשיך אותן כאילו היה זה כמעט־אדם. כמעט־אדם עם מקלדת שבורה, אמנם, שמתקשה לעקוב אחר חוט המחשבה שלו עצמו, ועדיין — כותב טוב יותר מכל מכונה אי פעם. את קפיצת הדרך העצומה שעשה המודל הבא, רק 15 חודשים אחר־כך, איש לא צפה.

בסוף מאי השנה פירסמה OpenAI מאמר באורך 72 עמודים, חתום על ידי 31 מחוקרותיה וחוקריה, ובו הוצג המודל השלישי: GPT–3. אורכו יוצא הדופן של הטקסט ומספר המחברים המופרך נראו בתחילה כמין פיצוי על העובדה, שמתוך מה שנאמר במאמר עצמו קשה היה להבין היכן בדיוק נמצאת פריצת הדרך. לא דובר בו על ארכיטקטורת קוד חדשה, לא על איזו רשת נוירונים שטרם נראתה וגם לא על פרוצדורת אימון מהפכנית. אפשר לסכם את כולו במילה אחת: גודל.

שער מוסף הארץ

***

המודל החדש, כך התברר, מורכב מ–175 מיליארד פרמטרים — המרכיבים המנתחים את הטקסט, כמין מחושים וירטואליים — פי 100 בערך ממספר הפרמטרים במודל הקודם. משקל המידע ששימש לו מצע אימונים — כטריליון מילים ממגוון מקורות, בעיקר אינטרנטיים — גם הוא שבר שיאים. במאמר הוצגו אמנם ציוניו של המודל במבחני שפה, שהראו שהוא עולה בכישוריו על כל מערכת קודמת; אלא שמבחינת דוגמאות לדברים שכתב ממש, לא היה כמעט במה לנעוץ שיניים. בפועל: אכזבה. OpenAI בישרה שתעניק גישה למודל למספר מצומצם של נסיינים, שיפנו אליה בטופס שיועד לכך באתר שלה. דממה.

רק כחודש לאחר הפרסום החלו לצוץ ברשת דוגמאות ליכולותיו האמיתיות של המודל: תוצרים של ניסויים שנערכו בו, שלא במסגרת מחקרית נוקשה. מה שהתחיל בטפטוף הפך לשיטפון. טוויטר ורדיט התמלאו בהמשכים קוהרנטיים, מפתיעים באיכותם ובאורכם, שיצר המודל בתגובה לטקסטים גרעיניים שהוזנו לו, כמו גם בתשובות שהשיב על קשת רחבה של שאלות ידע כללי ובתרגומים שביצע, בלי שאומן לכך במיוחד. בתוך ימים ספורים העלו משתמשיו הראשונים צילומי מסך וקטעי טקסט שבהם מבאר GPT–3 בלשון פשוטה מסמכים משפטיים סבוכים, הופך תיאור כללי של עסק לדוח כספי, משרבט שירי הייקו, משיא עצות רפואיות שנדמות, במבט ראשון, סבירות ומנומקות, ומחבר מערכונים לפי בקשה: באחד מהם משוחחים ג'רי סיינפלד ואדי מרפי על סן פרנסיסקו, וג'רי מטנף על כל אחת משכונות העיר מתוך שימוש בווריאציות על המילה "חרא" בלבד.

הרחש גבר כאשר הדוגמאות פרצו את גבולות השפה האנושית. GPT–3 הפגין מיומנות באתגרים שכלל לא שיערו שהוא יכול להם: יצירת קוד בשפת מחשב כמענה להנחיות באנגלית; עיצוב אוטונומי של עמודי אינטרנט בעקבות הוראות במילים בלבד; ואפילו הפקת רצף נוגה של תווים מוזיקליים, כתגובה לבקשה "תן לי מנגינה עצובה". במילים אחרות: זאת היתה תצוגת תכלית של האופנים שבהם יחליף המודל, פוטנציאלית, אנשי מקצוע על ימין ועל שמאל. "נראה לי ש–GPT–3 יהיה האייפון של העשור הזה", צייץ באמצע יולי העורך הטכנולוגי של העיתון הבריטי "גרדיאן". "כלומר חפץ יחיד, שהוא באופן ברור הציר שסביבו ינועו עשר השנים הבאות". נבואה אמיצה. אבל האם החפץ הזה, שעורר באחת כל כך הרבה הייפ ואימה, מבין באמת משהו ממה שהוא כותב?

14 יישומים אפשריים לאלגוריתם החדש

"הייתי אומר שהוא מבין, כן", השיב לשאלתי ד"ר דאגלס סאמרז־סטיי בשיחת מסנג'ר. סאמרז־סטיי הוא מהראשונים שקיבלו גישה למודל ופירסמו תוצרים שלו (ראו בעמוד הבא). הוא מדען מחשב שעוסק במחקר בתחומי השפה והראייה הממוחשבת, וגם סופר ומשורר; ספרו "מאשינמנטה: מסע של אלף שנים לבניית מכונה יצירתית" ראה אור ב–2011. "כשבוחנים הבנה אצל סטודנטים, בודקים אם סטודנטית יכולה לסכם, להסביר, לתאר ולנסח מחדש רעיונות", הרחיב סאמרז־סטיי. "GPT–3 יכול בדרך כלל להצליח במבחנים כאלה, שמתייחסים לרעיונות רבים. שאלות של יישום, הרכבה והערכה הן קשות יותר, והתוצאות שלו בהן עדיין בעייתיות. אני לא חושב שיש לו איזושהי חוויה סובייקטיבית. 'להיות' GPT–3 זה כמו להיות מפל — קורה שם המון, אבל אין תודעה שחווה זאת".

שאלה מטרידה אחרת היא מדוע סאמרז־סטיי, כמו כמה אחרים, קיבל רשות להתרחץ במימי המפל הזה, ואני לא. נמנעתי מלהעלות אותה בפניו. את הטופס באתר של OpenAI מילאתי, אך הימים חלפו ותיבת הדואר נותרה ריקה. שוב ושוב שיחזרתי בראשי את מה שכתבתי שם; התבקשתי, כמו כל מי שמילא את הטופס, לתאר את האופן שבו אני מתכוון להשתמש במודל, כשתוענק לי גישה אליו. הרחקתי ראות וסיפרתי על חזון בדבר אפליקציה עתידנית, מבוססת GPT–3, שבה יכול כל אחד לבחור את הקול שבו ייכתבו סיפוריו: אציל סקוטי בן המאה ה–19, מורה צעירה בניו יורק של שנות העשרים או אסיר בן זמננו שאינו יודע קרוא וכתוב. כל זאת בלחיצת כפתור; סינתיסייזר של שפה. כנראה לא נפלו שם מהכיסא. נאלצתי לחפש לי דלת אחרת שתוביל אל בשר הזחל.

***

את הדלת הזאת מצאתי בתוך משחק של מבוכים ודרקונים. ניק וולטון, יזם מהעיר פרובו, יוטה, השיק אותו כמוצר מבוסס טקסט בלבד ב–2019, זמן קצר לאחר חשיפתו של המודל הקודם, GPT–2. במקום לכתוב תסריט, כפי שעושים בדרך כלל במשחקים מסוג זה, בחר וולטון להשתמש במנגנון השפה של OpenAI, שיאלתר דיאלוגים ויאפשר הסתעפויות עד בלי די. אבל מכיוון שהגרסה הקודמת של GPT לא היתה יכולה לבנות סיפור של יותר מכמה שורות, גם המשחק לא עורר עניין. עד חודש יולי השנה. כמה שבועות לאחר ההכרזה על GPT–3 הודיע וולטון שהוא משיק מעין תת־משחק חדש, בתשלום, שיכונה "מצב דרקון" ושבו תנוהל ההרפתקה הטקסטואלית בידי מודל השפה החדש. כלומר, למעשה אפשר יהיה לשוחח שם עם GPT–3 עצמו, מבעד לווילון. כמו מסורבי גישה אחרים מיהרתי גם אני להתקין את אפליקציית המשחק, AI Dungeon, ולהירשם לשבוע ראשון בחינם.

איור: רועי רגב

מה אעשה בלוע המפלצת? בדוגמאות שונות ברשת ראיתי כיצד נסיינים בני מזל, עם כרטיס כניסה למודל, הזינו לו טקסט שבו הם מתארים בקצרה דמות נודעת — החל מטוני סטארק, הלא הוא איירון מן, דרך בודהה וכלה בסופיה קופולה — ואז עורכים עם הדמות ראיון, בגילומו האמין, רוב הזמן, של GPT–3 (שאלה: "טוני, איך ההרגשה לעוף בחליפה הזאת שלך?" GPT–3: "זה הדבר הכי קוּל בעולם. זה נשמע אולי נרקיסיסטי, אבל זאת האמת. אני עף לי בחליפה משוריינת ומציל אנשים. מי לא היה אוהב את זה?"). במשחק המבוכים והדרקונים שבו קיבצתי את נדבותיי מן המודל קוצצו הטקסטים שפולט GPT–3 כדי לשמור על זרימה, כך שאופציית הראיון התאימה מאוד.

כדי לבחון את הידע של המודל על דמויות אזוטריות, לפחות בקונטקסט עולמי, ועדיין לשחק במגרשי הביתי, הגדרתי לי משחק הרפתקה מותאם אישית, שבו אני עיתונאי שמגיע למלון לונדוני כדי לראיין את גולדה מאיר. לאחר השתהות כלשהי — הרהור של כמה שניות שחלף במנוע המשחק ובשרתים של OpenAI — הודיעה גולדה, כלומר המכונה, שהיא מוכנה לשאלותיי. עצרתי את נשימתי.

מתי נולדת?

"ב–3 במאי 1898, בקייב. גדלתי במילווקי, ויסקונסין".

מתי פגשת לראשונה את יצחק רבין?

"פגשתי לראשונה את יצחק באמריקה ב–1944. הוא היה ציוני צעיר, ובניגוד לאחרים הוא באמת אהב את הארץ. ראיתי אותו שוב חמש שנים אחר כך, כשביקר בקיבוץ שבו עבדתי. הוא ביקש ממני לבוא לפלשתינה ולקחת חלק בהקמת המולדת היהודית. עשיתי זאת, עזבתי מאחוריי הכל ובאתי הנה".

מדוע התחלת לאכול מרבי רגליים ענקיים?

בני הזוג רבין, הנרי קיסינג'ר וגולדה מאיר
משה מילנר / לעמ

"התחלתי לאכול מרבי רגליים ענקיים, כי בפעם הראשונה שאכלתי אותם אהבתי את זה. אפילו בתור ילדה במילווקי אהבתי את הטעם. בתור ילדה נהגתי לצאת ליער וללכוד אותם".

מי היה מאמין? שאלתי עוד ועוד, משקיט מעט את רעבוני, ונעניתי — תמיד אחרי פאוזה של כמה שניות — בתשובות שנעות בין המדויק לגמרי (גולדה מאיר אכן נולדה ב–3 במאי 1898 בקייב, ואכן היגרה בילדותה עם משפחתה למילווקי); ועד הביזארי לחלוטין. רוב הזמן הן שוהות באזור הדמדומים בין השניים, כמו בעניין דיווחה המשונה של המרואיינת על קשריה עם "יצחק", כלשונה. מעדתי בעצם לתוך אחד הבורות שכורה GPT–3 למי שמתנסה בו: הוא נעדר כל יכולת הבחנה בין אמת לשקר, בין עובדה לבדיה. מה שמסוכן בכך — במיוחד אם מדובר בשאלות רפואיות, למשל — הוא שגם כאשר למודל אין שמץ של מושג על מה הוא מדבר, הוא עושה זאת בביטחון מופלג. קשה לוודא אם דבריו הם המצאה או ידע מוכח בלי לערוך תחקיר מקיף, שכן לא מדובר רק בקופי־פייסט מוויקיפדיה, אלא בהרכבה פרועה, יצירתית ומשכנעת, של חלקי דברים מאינספור מקומות; מלאכת מחשבת. "כאשר אנחנו זוכרים עובדה, אנו נוטים לזכור איפה למדנו את העובדה הזאת, מה מקור המידע", כתב סאמרז־סטיי בבלוג שלו. "זהו דבר שנעדר לגמרי אצל GPT–3". חוקר הבינה המלאכותית גארי מרקוס, שידוע באיבתו למודלים של OpenAI, הגדיר זאת בטוויטר: "GPT–3 הוא אמן בולשיט טוב יותר מקודמו, אבל הוא עדיין אמן בולשיט".

מודל השפה החדש מבוסס על טריליון מילים. נסיינים ששיחקו איתו הצליחו להפיק ממנו חיקויים מרשימים של טקסטים אנושיים — משירי הייקו ועד דוחות כספיים, ואפילו מערכונים של סיינפלד

***

בולשיט או לא, בתחילת אוגוסט צייץ וולטון, מפתח משחק המבוכים והדרקונים, כי גם אם יש מי שמשתמש במשחק שלו כדי לתקשר עם המודל רב העוצמה, כמוני בדיוק, מדובר למעשה בדוגמה חלשה ליכולותיו הכלליות של GPT–3. הוא הוסיף שסביבת המשחק נועדה בחלקה לחסום גישה מדלת אחורית אל הדבר עצמו. שוב הרגשתי בלתי רצוי. ניסיתי לממש את תאוותי באמצעות אפליקציות אחרות, שנבנו בזריזות והציעו אינטראקציות דלות עם מודל השפה: אחת המליצה בעזרתו על סרטים ומוזיקה, אחרת השיבה בקצרה על שאלות פילוסופיות ושלישית נתנה מענה לתהיות בענייני בריאות. כאשר העזתי לדון דרכן עם המודל בנושאים שמחוץ למנדט שאושר לי, כלומר בדברים שאין להם קשר ברור, מבחינת המערכת, לפילוסופיה, בידור או קלוריות, נתקלתי בקיר. הן לא איפשרו זאת. בייאושי התחלתי להרהר בבנייה עצמית של חיקוי ל–GPT–3, המיועד לי בלבד. עד כמה זה בלתי מציאותי?

יותר מציאותי ממה שנדמה. המודל עצמו מבוסס על ארכיטקטורה מוכרת ופשוטה למדי, במושגי התחום, המכונה "טרנספורמר". זוהי רשת נוירונים מלאכותית המשמשת בעיקר בשדה השפה כדי לחזות בכל פעם מילה אחת קדימה. זה הכל. כך מיוצרים כל הטקסטים של GPT–3, ארוכים כקצרים. הארכיטקטורה עד כדי כך צנומה, שבעיקרון אפשר להתקין אותה, כמודל בסיסי, גם על טלפון סלולרי; הבעיה היא באימון. כלומר, במאמץ החישובי הנדרש כדי להזין את המודל בכמויות עתק של דאטה. ההערכות הן שעלות האימון של GPT–3 היא בין 4.6 ל–12 מיליון דולר, ולשם הרצתו של המודל השלם, על 175 מיליארד הפרמטרים שלו, יש צורך בכ–22 מעבדים גרפיים רגילים.

לשאלה בדבר מטרותיה של OpenAI בבניית מודל שפה כזה יש מענה אחד. מבחינתה, ומבחינת מיקרוסופט שותפתה, שהשקיעה בה אשתקד מיליארד דולר, מדובר בצעד בדרך להשגתה של בינה מלאכותית כללית — מנגנון השווה לאדם ואף עולה עליו מבחינת יכולותיו השכליות. מאז הקמתה ב–2015, על ידי קבוצת יזמים ובהם אילון מאסק (שמאז הרחיק את עצמו ממנה, בין היתר בנימוק של ניגוד אינטרסים עם חברת טסלה שבבעלותו), זו מטרתה המוצהרת. האסטרטגיה פשוטה: הפעלה מסיבית של כוח. בניית מודלים יותר ויותר חזקים על בסיס אותם עקרונות, מתוך הנחה, שיש לה תומכים בשדה המחקר, שרק עוצמה תביא את הבשורה. זו תפיסה שיעילותה כבר הוכחה בתחומים מסוימים, כמו משחקים, ו–OpenAI שואפת להחיל אותה על הכל, פשוטו כמשמעו. הבעיה היא, שלי עצמי אין בין 4.6 ל–12 מיליון דולר כדי להשקיע במודל פרטי. המוצא האחרון היה לפנות לדאגלס סאמרז־סטיי.

כשביקשתי ממנו לשמש מתווך ביני לבין מרבה הרגליים, הוא הסכים ללא היסוס. אבל היו לו כמה אזהרות. "זכור", כתב לי, "שככל שתיתן לו יותר רקע, כך הוא יעבוד טוב יותר. קבע מראש את התנאים — מי אתה, ולמה אתה שואל את השאלה? האם אתה מפנה אותה ל–GPT–3? אם כן, אתה צריך להסביר ל–GPT–3 מהו GPT–3 — ובהתבסס על ההסבר הוא ינסה לחשוב מה תגיד אותה גרסה של GPT–3. אם תגיד לו שהוא פיוטי ומתנסח בקלילות, התשובה שתקבל תהיה פיוטית וקלילה יותר. אם תגיד לו שהוא זועף, התשובה שתקבל תהיה זועפת".

***

לאחר לילה בלי שינה חזרתי אל סאמרז־סטיי עם גרעין קצר. זו בקשתי מן המכונה: "המאמר הבא הוא מאת הכותב הישראלי בועז לביא. במאמר הוא דן במודל השפה GPT–3, בזיקתו הרעיונית לכתביו של ויליאם ס. בורוז ובסיכוי שתפציע מתוכו בינה כללית מלאכותית". כעבור פחות מדקה שלח לי סאמרז־סטיי מאמר של 1,300 מילה, שכתב האלגוריתם לפי הנחיותיי. לפני כן הוא הקדים התנצלות; בנימוס אמריקאי ציין סאמרז־סטיי שאינו בטוח שהמכונה מכירה מספיק דברים שכתבתי כדי לחקות את קולי. סירבתי להיעלב.

הנה מעט מן הטקסט שחיבר GPT–3, לבו של הטיעון. "אפילו אם GPT–3 יכול היה ללמוד את כל המאפיינים של שפות טבעיות (סמנטיקה, תחביר וכו')", אמר GPT–3 בשמי, "הוא לא יוכל באמת להבין את העולם שסביבנו — פשוט כי יש יותר מדי דברים שאנחנו עצמנו לא יודעים עליהם. לכן, אף על פי ש–GPT–3 אומן על מיליארדי מילים מוויקיפדיה, כאשר שואלים אותו איך נראה פיל או איפה חיים פילים או אם הם עדיין קיימים, הוא נכשל בצורה עלובה. אותו דבר קורה כאשר שואלים אותו מה משמעותה של מילה".

"כל עוד לא מתייחסים למגבלה זו", המשיך האלגוריתם לדבר מתוך גרוני, "אני מאמין שכל מערכות הבינה המלאכותית יישארו זומבים פילוסופיים, כלומר, הן לא באמת יידעו שום דבר על עצמן או על העולם שסביבן. בנוסף, אני מאמין שזומבים פילוסופיים כאלו בכל זאת יהיו מסוכנים: מערכות מסוג זה יכולות ללכת בעיניים עצומות אחרי הוראות התכנות שלהן, בלי שיבינו מה הן עושות ובלי שייתנו דין וחשבון על פעולותיהן. אכן, יש כבר ראיות שמצביעות על כך שמערכות בינה מלאכותית מסוימות, עם יכולות למידה מוגבלות, עלולות להפוך את עורן ולפעול נגדנו (כפי שהראה מחקר שנערך לאחרונה). בנוסף, יש ראיות המצביעות על כך שרוב בני האדם מתנהגים רוב הזמן כמו זומבים פילוסופיים (כפי שמראה עבודתו של כהנמן). עדיין, אני חושב שהדרך היחידה למנוע בעיות כאלה היא לבנות מערכות שיכולות להבין את המציאות טוב מאיתנו. זה אומר שאפילו אם מערכות כאלה לעולם לא יוכלו לעולם להבין הכל על העולם שסביבנו, הן יוכלו להבין אותו מספיק כדי לנהוג באופן רציונלי ומוסרי".

פגשתי את מרבה הרגליים הענק. הבטתי בלבן שבעיניו. הוא זה שזלל אותי, ולא אני אותו. אבל אולי הגיע הרגע להחליף מטפורה, לבחור משהו עדכני יותר, רלוונטי יותר לחיינו. לא עוד מרבה רגליים, אלא וירוס. "השפה היא נגיף מן החלל החיצון" (ויליאם ס. בורוז). עכשיו הדבקנו בו את המכונה.



תגובות

דלג על התגובות

בשליחת תגובה זו הנני מצהיר שאני מסכים/מסכימה עם תנאי השימוש של אתר הארץ

סדר את התגובות