כתבתי בעבר על ענייני מדידה וסטטיסטיקות. על כמה חשוב למדוד, ועל הצורך למדוד את הדברים הנכונים. נתקלתי בנושא הזה משתי זויות משלימות לאחרונה, והחלטתי לחזור אליו בקצרה.
שמעתי מצגת של איש אחד בכנס אחד. האיש היה משקיע בקרן הון סיכון. זה לא ממש התחום שלי, לא הכרתי את האיש קודם. המצגת היתה מרשימה, הוא אמר דברים שנשמעו לי חכמים, ונראה איש נחמד. אבל כמו שקורה הרבה פעמים במצגות שצריכות לדבר לקהל גדול שהוא די חדש בנושא מסוים, המצגת נטתה לכיון הפשטנות. הרבה פעמים זה מרגיז אותי. אולי במקום לנסות להגיד כל כך הרבה דברים במעט זמן, תגיד פחות דברים, אבל יותר לעומק? לא משנה, זה לא הנושא כרגע. סליחה על הסטיה.
היתה לי הרגשה שהוא נוטה לכיון הפשטני, ומשפט אחד שלו פתאום ממש העלה לי את הסעיף. בענייני מדידה וסטטיסטיקות הוא אמר משהו כמו – עזבו אתכם מאנליטיקס מורכבים. את אף אחד זה לא מענין. פייסבוק מודדים מדד אחד בלבד – כמות ה-comments. זה הכל. ואם הם יכולים, אז גם אתם כמובן.
למה זה הרגיז אותי?
קודם כל – כי אני שונאת שנותנים דוגמאות בלתי אפשריות. די כבר עם “עיצוב כמו דף הבית של גוגל”, די כבר עם “לחנך את השוק ולחדש כמו אפל”. רובנו הגדול, המכריע, לא עובדים עבור חברות ענק שיכולות להרשות לעצמן לעבוד בצורות האלה. לשאוף להיות כזו חברה זה לגיטימי לחלוטין, אבל בדרך צריך להסתכל על דברים בצורה אחרת. אין מה לעשות.
שנית, אני לא מאמינה שזה נכון שפייסבוק מסתכלים רק על כמות ה-comments. אני חושבת שאני יודעת מה המקור לתובנה הזו (מיד אסביר), אבל אני אומרת לכם, במידה רבה מאוד של בטחון, שפייסבוק מסתכלים על עוד ה-ר-ב-ה מדדים. לדוגמא – המדד הפשוט של Pageviews מעניין אותם מאוד מאוד מאוד. הוא המדד הקשור בצורה הישירה להכנסות, הוא הסיבה המרכזית שהם משנים את העיצוב כמו שהם עושים, ועוד ועוד.
שלישית – כי גם אם זה נכון (וכמו שאמרתי – יש בזה כנראה גרעין של אמת), הסיפור הוא הרבה יותר מורכב. להבנתי, פייסבוק מסתכלים עכשיו על כמות התגובות של משתמש כמדד העיקרי והחזק ביותר של engagement. זה הסיפור. הם הגיעו למסקנה שתגובה היא מדד מאוד מאוד חזק לרמת המעורבות של משתמש במערכת, ומנבא טוב להרבה דברים אחרים (כמו הסיכוי שהמשתמש יחזור, יקליק על מודעה, יצרף עוד חברים, וכו’). אבל הנקודה היא שהם חקרו הרבה מאוד מדדים שונים, לפני שהם הגיעו למסקנה שמספר התגובות הוא מדד חשוב. יכול להיות ש”מספר הזהב” עבור פייסבוק הוא כמות התגובות שמשתמש מגיב, אבל זו לא סיבה להאמין שאפשר להתרכז במדד אחד להצלחת חברה, ובזאת לסיים את כל ענייני הסטטיסטיקות.
והנה הצד השני של המטבע – אוריאל אוחיון, גם הוא איש הון סיכון, וגם יזם בעצמו, כתב לאחרונה פוסט שטוען טענה דומה – אבל הפעם מוצדקת! אוריאל לא אומר שיש מדד אחד וכל השאר לא שווים כלום. אבל הוא כן אומר שיש “מספר זהב” אחד, שהוא ה”דופק” של האתר, ואותו חייבים לזהות ואחריו צריך לעקוב באדיקות.
או! זו קביעה שאני יכולה להסכים איתה לחלוטין. בכל חברה/אתר המספר הזה יכול להיות אחר. זה יכול להיות כמות המבקרים, זה יכול להיות הזמן שהם נמצאים באתר, כמות הקניות, כמות ההפניות, כמות ה”לייק” או כמות התגובות – בכל שרות זה מספר אחר, שמנבא או מעיד בצורה הכי טובה על מצב העסק.
חשוב – המספר הזה הוא לא הסטטיסטיקה היחידה שאתם צריכים לעקוב אחריה. ממש לא. יש עוד הרבה דברים חשובים. אבל זה המספר שלפי הבדיקה שלכם מעיד בצורה הכי ברורה, ישירה, קלה למדידה על רמת ההצלחה של האתר. זה המספר שצריך לבדוק כל בוקר וערב, ולהיות מסוגל לשלוף אותו בכל רגע. זה המספר שצריך להבין כל תנודה בו. ואיך מבינים את התנודתיות? עם מספרים נוספים כמובן.
בקיצור – אף פעם אל תאמינו לקביעות פשוטות מדי.