מחקר חדש מצא זיוף נתונים במחקר על הנטייה של אנשים לזיופים או תרמיות  

טור, בואו נתחיל שרשור: למי שלא מסתובב במעגלים של פסיכולוגיה חברתית או כלכלה התנהגותית באופן קבוע, ממליץ לכם לקחת חמש דקות כדי להכיר תרמית מדעית ממש, אבל ממש מופרכת - זיופי הנתונים הבוטים במחקר של דן אריאלי.

בשנת 2012 התפרסם מאמר של צוות חוקרים, שביניהם (בתור כותב רביעי) הכלכלן ההתנהגותי דן אריאלי. הנושא: הטענה שחתימה על מסמכים בראש המסמך (לפני שמילאת אותם) לעומת בסופם (אחרי שמילאת אותם) מצמצמת את הנטייה של אנשים לזיופים או תרמיות.
https://pnas.org/content/109/38/15197.short

המאמר הזה התפרסם מאד, והשפיע מאד על הרבה מאד מחובבי גישת ה-Nudge, שהשתמשו בממצאים האלה כדי לייעץ לממשלות וחברות פרטיות ברחבי העולם. דן אריאלי בעצמו כמובן הסתובב איתו בעולם והציע לרשויות המס להזיז את מקום החתימה בדוחות המס השנתיים כדי לצמצם העלמות מס.

בשנת 2020 התפרסם מאמר המשך של אותם החוקרים שבו הם אומרים שהמחקר המקורי לא משתחזר, ומציינים גם שנראה להם שיש בעיה בנתונים של אחד מהמחקרים במאמר המקורי (הם משערים שאולי לא הייתה הקצאה אקראית לתנאי הניסוי). הם גם משחררים את קבצי הנתונים של המאמר הראשון.
https://pnas.org/content/117/13/7103.short

אתמול פרסם צוות חוקרים (רובם אנונימיים, אבל מי שחתומים על המאמר הם אורי סימונסון, ליף נלסון וג'ו סימונס, מ- DataColada) בדיקה של נתוני מחקר 3 מהמאמר הראשון, שהובל על ידי דן אריאלי. אין שום דרך מנומסת לומר את זה: הנתונים פוברקו, וממש מהמקפצה.

https://datacolada.org/98

מחקר 3 המדובר היה, לכאורה, מחקר שטח: חברת ביטוח ביקשה מהלקוחות שלה לדווח על הקילומטראז' של המכוניות שלהם, כאשר חלקם נתבקשו לחתום בתחילת הדיווח וחלקם בסופו. ההשערה הייתה שדיווחים כנים - יהיו גבוהים יותר (יש תמריץ לזייף כדי להעלות את שווי הרכב).

אבל קובץ הנתונים היה מוזר. קודם כל, ההתפלגות של מספר הקילומטרים שנסעו הרכבים מאז הדיווח הקודם הייתה... אחידה מאד. 500 איש שנסעו בין 0 ל-2,000 מיילים מאז הבדיקה הקודמת, 500 איש שנסעו בין 10,000 ל-12,000, וקצת יותר מ-500 שנסעו בין 48,000 ל-50,000 מיילים מאז הבדיקה הקודמת.

זה... מוזר. בדרך כלל ההתפלגות של דברים כאלה היא נורמלית. זה גם מוזר שהדיווחים נגמרים בדיוק ב-50,000... זה ממש נראה כאילו מישהו השתמש בפונקציה של אקסל שמגרילה מספר אקראי בטווח מסוים.

אבל גם... משום מה בקובץ הזה אף אחד לא עיגל את הדיווח שלו. אנשים דיווחו על זה שהם נסעו 748 מייל באותה תדירות שהם דיווחו על 750 מייל. זה מוזר, כי אנשים בדרך כלל מעגלים. והאמת - מסתבר שאפילו בתוך אותו קובץ, בדיווח שהועתק משנה שעברה, רואים שאנשים באמת מעגלים את הדיווחים.

אבל גם... יש שני פונטים בדיווחי הנתונים. זו כבר ממש בלשות מתקדמת, אבל צוות החוקרים הספקנים שהסתכלו מחדש על הנתונים שמו לב שהנתונים מופיעים בקובץ בשני פונטים שונים. וכשהם בדקו, הם גילו שזה מתחלק בדיוק חצי חצי. חצי מהנתונים בפונט Calibri, וחצי בפונט Cambria.

ותראו מה זה, מסתבר שלכל שורה שהנתונים בה בפונט Calibri, ניתן היה למצוא שורה שהנתונים שלה בפונט Cambria... ובה כל הנתונים נמצאים בטווח של בדיוק 1,000 מיילים. כאילו מישהו פשוט הוסיף לשורה המקורית מספר אקראי בין 0 ל-1000.

אין דרך לייפות את זה: הנתונים האלה זויפו. לחלוטין. אפשר להתווכח על מי עשה את זה: אריאלי טוען (אגב, במכתב שבו... יש שימוש בשני פונטים) שהוא מניח שהוא קיבל נתונים מזויפים מחברת הביטוח, ואין שום דרך לפסול את הטענה הזו כמובן. אבל הנקודה ברורה: מישהו פשוט כתב את הנתונים האלה.

(יש גם את זה שהנתונים במקרה הוכיחו בדיוק את ההשערה של החוקר, מה שמעלה את השאלה - האם חברת הביטוח ידעה מה ההשערה של החוקר, ובהתאם זייפה כדי לעזור לו? כי בדרך כלל במצב כזה לא אמורים לחלוק את ההשערה עם מי שאוסף את הנתונים, כל עוד זה אפשרי.)

זו דרמה מטורפת בתחום הזה של כלכלה התנהגותית. יש איזו תפיסה כזו שזיופים זה משהו שעושים חוקרים צעירים או לא מוכרים, אבל פה אנחנו רואים זיוף בנתונים של מי שמזוהה בכל העולם עם המותג "כלכלה התנהגותית", במחקר שהייתה לו השפעה אמיתית בשטח - וגם בזיוף מאד, אבל מאד לא אלגנטי.

חשוב לומר: הזיוף הזה התגלה בזכות היושרה של הכותבים המקוריים שפרסמו לפני שנה מאמר על כך שהמאמר המקורי לא עובד, ושיתפו את הנתונים המלאים (ואפילו עם הפונטים המקוריים!).

זה לא מובן מאליו: לפני עשור אף אחד לא היה עושה דבר כזה - מנסה לשחזר את המחקר של עצמו, וגם חולק את קובץ הנתונים המקורי (ולא מפתיע: אף כתב עת רציני לא היה מפרסם את זה לפני עשור). זו התקדמות מאד טובה למדע - חוקרים שבאמת פותחים את עצמם לביקורת ציבורית שקופה ופתוחה.

זה הזמן להזכיר: מחקר יחיד הוא לא אינדיקציה מספיק טובה לקיומו של אפקט. כאשר יש גוף מחקרי שלם שמעמיק ומשכלל את המחקר מסביב לאפקט מסוים, רמת הודאות שלנו יכולה לעלות. אבל אסור להתבסס על תוצאות של מחקר יחיד - לא משנה כמה מפורסם המחבר וכמה יוקרתי כתב העת שבו הוא התפרסם - בשום דבר.

כל הכבוד לצוות החוקרים שפרסמו את החשיפה המטורפת הזו בהובלה אורי, ג'ו וליף, מקווה שהיא תהדהד ותגרום ליותר ויותר מדענים להתיישר עם סטנדרטים בריאים יותר, תקינים יותר ושקופים יותר של מדע.

תגובת דן אריאלי: