כתבתי בעבר על החשיבות של מדידה כשמתכננים, מפתחים, משיקים ומוכרים מוצר. אני בטוחה שאין כאן איזו חדשה מרעישה שלא ידעתם. העולם צועד על מספרים, וכשמדובר בחברה שמעוניינת לחיות מרווחים או אפילו רק לשכנע משקיעים שהיא שווה השקעה, חייבים לדעת מה עובד ומה לא. כדי לדעת – צריך למדוד.

הפוסט ההוא נבע מהפרספקטיבה שנתקלתי בה בהרבה חברות בתחילת הדרך, שחושבות ש”כרגע זה מוקדם להשקיע במדידה“.  אבל יש פרספקטיבה אחרת, שעלתה מהתגובות לפוסט ההוא, ואני נתקלת בה יותר ויותר. היא תקפה גם לחברות יותר מבוססות, שיש בהן מערכות מדידה מתוחכמות ומורכבות, שהושקע בהן המון כסף, וגם בחברות יותר קטנות.

הפרספקטיבה הזו אומרת – נכון, מדידה זה חשוב. אנחנו חייבים לדעת בכל רגע נתון איך מתקדם המוצר שלנו. מה עובד, מה לא עובד. מה מוכר, מה לא מוכר. לאחרונה במפגשים עם לקוחות אני נתקלת בכך יותר ויותר. כשאני שואלת – אתם משתמשים בכלי מדידה? הם אומרים – בוודאי! יש לנו מערכת א’, ב’, וג’. כל אחת משמשת לנתונים קצת אחרים. אני כולי מאושרת – נהדר! איזה יופי. והם לא מחייכים. מה הבעיה, אני שואלת.

אנחנו טובעים בנתונים.

יש לנו הרבה יותר מדי. כל מערכת מוציאה מאה סוגים של דו”חות שונים. בכל מערכת יש אלפי משתנים שהיא עוקבת אחריהם. יש לנו מישהו שתפקידו לשבת פעם בשבוע ולהוציא מכל המערכות דו”חות, ולבנות דו”ח מסכם. בהתחלה דיברנו על מה הדו”ח הזה צריך לכלול, אבל עכשיו כבר אי אפשר לפתוח אותו כי הוא כל כך גדול וכבד. יש שם 22 גרפים שונים. ואנחנו בכלל לא בטוחים מה הם אומרים.  עוד יותר מזה – כל מערכת נותנת מספרים קצת אחרים. טוב לא קצת, מאוד אחרים. הבדלים של עשרות אחוזים.

אז מה עושים?

לצערי אין פתרונות קסם. בדרך כלל באמת אין מערכת אחת שיכולה לתת את כל התשובות, ומצד שני אין דרך שכל המערכות יהיו תמיד בסנכרון מושלם.

שלושה עקרונות ברזל שהייתי מנסה להקפיד עליהם, אם אתם יכולים:

1. תשאלו את השאלות הנכונות – אל תבדקו איזה סוגי דו”חות המערכת יכולה לתת, אילו משתנים היא אוספת, ו”תשחקו איתם”. כלומר, זה מאוד כייף לעשות (למי שאוהב דברים כאלה), אבל זה יכול לקחת ימים, שבועות וחודשים, ובסוף לא לתת שום תוצאות. תתחילו מהשאלות. מה אתם באמת רוצים וצריכים לדעת.

2. תוודאו שאתם מקבלים את התשובות הנכונות – אחרי השאלות מגיעות התשובות, וזה החלק הקריטי. אם מי שמוציא את הנתונים לא יודע בדיוק מה הוא עושה, לא מבין בדיוק מה המשמעות של כל משתנה ואיך חותכים את הדברים, התוצאות יכולות נוראות. הן יובילו אתכם בכיון הלא נכון, ולעולם לא תדעו.

3. תבינו את מגבלות הסטטיסטיקה והנתונים – אל תרוצו להסיק מסקנות מד”וח של יום, או ממספרים של שבוע. אם יש הבדלים בין נתונים של מערכות שונות, נסו להבין אותם. אל תצפו למתאם מלא, אבל אם מבינים את המקור להבדלים, אפשר ללמוד הרבה מתנודות וטרנדים. קחו בחשבון שיש תנודות של שימושים, שנובעות ממשתנים שאתם לא בהכרח מודעים להם או יכולים לנהל אותם. המספרים הם אינדיקציה, אבל לא תמיד ברור למה. שקללו את הסיכונים והסיכויים כשאתם מחליטים לעשות שינוי בעקבות ניתוח של נתונים.