ניתוח תוצאות הבחירות לכנסת ה 21 באמצעות למידה עמוקה

אימון והסקה

כך למשל, אם נרצה למשל לבנות רשת המבחינה בין גזעי כלבים שונים – נצטרך להזין לרשת נוירונים תמונות רבות של כלבים שונים ול’הסביר’ לרשת עבור כל כלב מאיזה גזע הוא. את המודל הנוצר נשמור בצד, וכעת נוכל להשתמש במודל זה כדי להסיק עבור תמונות חדשות של כלבים – לאיזה גזע הם משתייכים.

שימוש ב DL לטובת ניתוח נתונים

ארכיטקטורה עמוקה פוגשת את מערכות הבחירות 

בבחירות לכנסת ה 20: התמודדו 26 מפלגות ואזרחי ישראל הצביעו ב 10,412 קלפיות.

בבחירות לכנסת ה 21: התמודדו 43 מפלגות ואזרחי ישראל הצביעו ב 10,765 קלפיות.

מתוך אותן 10,000+ קלפיות בשתי מערכות הבחירות – ישנן 8,565 קלפיות שהשתתפו בשתי מערכות הבחירות גם יחד.

 

כאמור, כעת נבנה רשת נוירונים עם מטרה פשוטה למדי – מיפוי בין תוצאות כל אחת מה 8,565 קלפי בכנסת ה 20 לתוצאות של אותן קלפיות בכנסת ה 21.

כלומר, נבנה רשת עם שכבת קלט של 26 נוירונים – כמספר המפלגות שהתמודדו בכנסת ה 20, ושכבת פלט של 43 נוירונים – כמספר המפלגות שהתמודדו בכנסת ה 21.

בין שתי השכבות הללו, נבנה 4 שכבות נסתרות (hidden layers) מסוג חיבור מלא (dense) עם 35 נוירונים כל אחת. הרשת אם כן, נראת בצורה הבאה:

תהליך ה fit ותוצאות ראשוניות

נגריל 4 קלפיות אקראיות, ונבחן את הדמיון בין ההצבעה בפועל לבין התחזית, בהחלט ניכר דמיון ברוב המקרים. 

אכלו לי, שתו לי

אחד הנושאים המרכזיים במערכת הבחירות ה 21 היה נושא ‘שתיית הקולות’ של המפלגות המרכזיות את המנדטים של המפלגות הקטנות. האם נוכל להעזר במודל שלנו כדי לאשש טענה זו?

נניח שבמערכת הבחירות ה 20, הייתה קלפי שבה 100% מהקולות הלכו למפלגה ספציפית, מסקרן איזו תוצאה יחזה המודל עבור אותה קלפי למערכת הבחירות ה 21.
לדוגמא – אילו היתה קלפי בה 100% מהקולות במערכת הבחירות ה 20 היו למפלגת העבודה (המחנה הציוני דאז), אזי על-פי המודל רק 19% מהקולות היו נשארים במפלגת ‘אמת’, 11% קולות היו עוברים ל’מרצ’ ו 63% מהקולות היו עוברים למפלגת ‘פה’ (כחול לבן). מסתבר שיש דברים בגו. 

אז אם יש לנו מודל שיודע לנבא כיצד מצביעי מפלגה מסויימת שינו את דעתם בין שתי מערכות הבחירות, למה שלא נבחן זאת על כל המפלגות?
לשם כך נייצר מטריצה ריבועית בגודל 26×26, בה כל הערכים הם 0, פרט לאלכסון שאותו נסמן כ 1 – בצורה זו, יצרנו מבנה נתונים של 26 קלפיות מדומות, שבכל אחת יש מפלגה אחת שקיבלה 100% מהקולות.
המטריצה אם כן, תראה כך: 

בעזרת מטריצה זו נוכל לבדוק בדיוק את נושא ‘השתיה’ ע”י חיזוי תוצאות קלפיות בבחירות 21 באמצעות המודל שנבנה קודם.
נתאר זאת במפה הבאה (צמצמתי ל 13 המפלגות החשובות בכנסת ה 21):

כמה אנקדוטות מעניינות:

1. כאמור, מפלגת העבודה קיבלה את אמונם של 19% ממצביעיה המקוריים, 65% נדדו למפלגת כחול לבן. 
2. את תואר המצביעים הנאמנים ביותר, מקבלת מפלגת יהדות התורה, עם 90% לויאליות. 
3. 30% ממצביעי הבית היהודי התפוגגו אצל מפלגת הימין החדש (שכידוע לא עברה את אחוז החסימה)
4. מצביעי כולנו התפזרו להם אצל המון מפלגות, בינהן – שס, כחול לבן, הליכוד, רע”ם-בל”ד ויהדות התורה. 
5. כ 25% ממצביעי ישראל ביתנו הצביעו לחד”ש-תע”ל בכנסת ה 21. מוזר מאוד! אשמח להסבר בתגובות.
6. מפלגת הליכוד, קיבלה את אמונם של 10% ממצביעי יש עתיד, אולם מפלגת כחול לבן (הנושאת את אותם אותיות) לא הצליחה להעביר מנדטים משמעותיים מהליכוד אליה. 

ברור שרמה כזו של תובנות קשה יהיה להסיק באמצעות שיטות קלאסיות הנהוגות בכלי Business Inteligience הרגילים.

טביעת אצבע וקטורית של מפלגות 

כאמור בפתיחה, אחד הסודות הפחות מדוברים בעולם ה DL, הוא תוצרי הלוואי של תהליך החיזוי – בין אם בשכבות הנסתרות, אבל גם בשכבה הסופית. במקרה שלנו למשל, ניתן לתאר את מספרים האופקיים לכל מפלגה במפה שלמעלה, כייצוג במרחב הוקטורי של אותה מפלגה – אני קורא לזה party embedding.

נתבנון שוב על המפה, ממקודם, אבל נתמקד לרגע בשתי מפלגות – מפלגת העבודה, ומפלגת כחול לבן: 

מסתבר ששתי שורות אלו די קרובות אחת לשניה – הזווית הכלואה בין שני הווקטורים קרובה ל 0, וקוסינוס הזווית קרוב ל 1, (אם ננרמל את התוצאות לכל שורה ל 100% נראה זאת בבירור, אבל לא הפעם).
המשמעות הלוגית היא, שמצביעי שתי המפלגות בכנסת ה 21, הגיעו בגדול מאותן מפלגות ובאותם יחסית בכנסת  ה 20.

ניתן לחשוב על הווקטור האופקי כטביעת האצבע של המפלגה – מפלגות הדומות אחת לשניה (בהיבט מצביעים, לאו דווקא אידיאולוגי כמובן) ייקבלו ייצוג דומה – כלומר ערכי ה cosine similarity יתקרבו לזוג כזה ל – 1.

עכשיו נחשב, את המרחק בין כל זוג מפלגות – אלו הצימודים הבולטים ביותר:

אין יותר ימין או שמאל?

זוכרים את הסלוגן? נבדוק…

ננסה לתאר את מפת המפלגות בכנסת ה 21 על גבי קנבס דו מימדי (בעקבות מגבלות המדיה כמובן) – כלומר עלינו לבצע המרה של הנתונים מוקטור באורך 26 תאים לווקטור עם שני תאים מבלי לאבד יותר מידי מידע.  
ישנן שתי שיטות נפוצות לעשות זאת – אלגוריתם הפחתת מימדים: T-SNE, ואלגוריתם התמרת מימדים: PCA.
בחרתי דווקא שיטה אחרת – שימוש בגרף ממושקל, כאשר משקל כל קשת הוא כמרחק בין כל זוג מפלגות.
את הגרף נדפיס באמצעות הספריה networkx (את הקשתות צבעתי בלבן), המשתמשת באלגוריתם איטרטיבי המביא את הצמתים למרחק בו המערכת כולה מגיעה לשיווי משקל.

וקיבלנו את המפה דו מימדית להלן:

גרף זה אם כן, מייצג את המרחק בין כל זוג מפלגות – מעניין לראות כיצד המפלגות השונות הסתדרו להן במרחב – נראה שלמעלה הצטופפו מפלגות המזוהות יותר בשמאל ולמטה מפלגות הימין.
איך הייתם מגדירים את הציר האופקי? כיתבו בתגובות..

לסיכום

למידה עמוקה היא יותר מרק ביצוע תחזיות, קלסיפיקציות וכיוצ”ב – הכלים החדשים פותחים לנו עולמות חדשים של אפשרויות בתחומים משיקים, למשל בעולם ה Business Inteligience.
שימוש מושכל במידע המצטבר בשכבות הנסתרות או בתוצרי החיזוי, יכול לפתוח את עיננו לסודות מעניינים מאוד, אם רק נדע להפיק אותם. 
האם חברות האנליטיקס וה BI ישנו את עורן כדי לספק שירותי דוחות חדשים מבוססי DL? אני מעריך שלא מיד, אבל בהחלט נראה שיש פה הזדמנות מעניינת לחדשנות.

הקוד כולו נמצא בלינק הבא.

Happy Deep Learning!