בזמן האחרון יוצא לי להתעסק הרבה בענייני מדידה של מוצרים. מסתמן שבתחום הזה יש הרבה דברים מאוד ברורים, אבל גם הרבה שאלות. נתחיל בשאלות.
מה מודדים במוצר אינטרנטי? איך יודעים אם המוצר מצליח? איך יודעים אם פיצ’ר מסוים מצליח? עד כמה זה חשוב למדוד? עד כמה התוצאות צריכות להוביל את ההחלטות לגבי המוצר?
לאף אחת מהשאלות האלה, אין תשובה פשוטה. התשובה היא תמיד מורכבת, ותמיד מתחילה ב”תלוי”. תלוי מה את מחפשת. מה אתה רוצה לדעת. עד איזו רמת פרוט את רוצה להגיע. מה המחיר של השגת הנתונים, ומה המחיר של כל פיצ’ר או שינוי. הכל מורכב.
לשאלה הראשונה – מה מודדים במוצר אינטרנטי? מה זו הצלחה של מוצר?
זה נשמע כאילו לשאלה הזו יש תשובה פשוטה – מוצר מצליח ברשת, הוא מוצר שהמוני אנשים משתמשים בו. תשובה יפה, אבל ממש לא מספיקה. המוני משתמשים זה הצעד הראשון, אבל הוא לא מספיק. מה שאתה באמת רוצה, הוא שהמוני האנשים האלה ישלמו, או יהיו מספיק “שווים”, עד שמישהו ירצה לשלם כדי שהאנשים האלה יראו פרסומות (למרות שמודל הפרסום הולך ומאבד את הכח שלו). דוגמא קטנה – לאף אחד אין ספק כיום, שפייסבוק הוא מוצר מצליח, נכון? ועדין לאורך הרבה זמן היה ויכוח גדול האם הוא “באמת מצליח”, כלומר האם הוא גם יצליח לתרגם את ההצלחה של מספר המשתמשים להצלחה כלכלית.
מוצר צריך להצליח בכמה רמות. ראשית, הוא צריך לגרום להרבה משתמשים לרצות להשתמש בו. כמה זה הרבה? שאלה טובה. הוא צריך לגרום למספיק משתמשים לרצות להשתמש בו, כדי שאפשר יהיה לבנות סביבו מודל כלכלי רווחי. מודל כלכלי רווחי צריך לכלול את כל ההוצאות שהוצאנו כדי לפתח ולשווק את המוצר, את כל ההכנסות שיש לנו כרגע מהמוצר, ובשקלול של שני המספרים – להראות רווח.
איך יודעים אם פיצ’ר מסוים מצליח?
כמו שהזהרתי, התשובה היא מתחילה כמובן ב”תלוי”. תלוי למה קוראים הצלחה. גם בהקשר של פיצ’ר אחד ספציפי במוצר, צריך להגדיר הצלחה, ויכולות להיות הגדרות שונות. האם הפיצ’ר הזה מיועד לכל המשתמשים, או רק למשתמשים מסוג מסוים (מתחילים/מתקדמים/חינם/משלמים). מה מטרת הפיצ’ר? האם מטרת הפיצ’ר היא להעלות את המכירות של המוצר – ואז צריך למדוד האם הצלחנו באמת להעלות את המכירות. אולי מטרת הפיצ’ר היא להוריד את אחוזי הנטישה של משתמשים קיימים – כאן המדידה נעשית קצת יותר מורכבת, ועדין אפשר לבדוק האם אכן יש אפקט, האם המשתמשים שאכן משתמשים בפיצ’ר הזה נשארים עם המוצר יותר זמן. אולי המטרה היא “לגרום לבאז” – לגרום למשתמשים לשתף את חבריהם, להפיץ את בשורת המוצר. לכל מטרה כזו צריכה להיות מדידה מתאימה.
עד כמה זה חשוב למדוד?
הו! הנה שאלה שהתשובה אליה לא מתחילה בתלוי בכלל. להיפך – זה לא תלוי בכלום. חשוב מאוד מאוד מאוד למדוד.
הנה רשימת התרוצים שאנשים נותנים כשהם לא מודדים:
– עוד לא הגענו לזה, יותר חשוב לנו קודם כל להוציא את המוצר, ואז נראה.
אולי, אולי, אולי זה נכון בשבועיים הראשונים. אבל אם יש לכם מוצר שרץ כבר שבועיים, ואין לכם מדידה על איך אנשים משתמשים בו, אתם עושים טעות גדולה.
– אנחנו לא צריכים למדוד, אנחנו יודעים איך אנשים משתמשים במוצר שלנו.
אהה. כי אתם מכירים את כל מי שמשתמש במוצר שלכם ומראיינים אותו פעם ביום? אפילו אם זה נכון, זה גם לא מספיק טוב, כי גם לראיונות יש מגבלות. אתם צריכים נתונים, ומהר.
– אין לנו זמן לפתח מערכת מדידה. יותר חשוב לנו עכשיו להתרכז בדברים אחרים.
טעות גדולה. אף פעם לא יהיה זמן. לא צריך לפתח מערכת מורכבת. תמצאו מערכת שעובדת ותתקינו אותה
למה זה כל כך חשוב למדוד, אתם שואלים? ובכן, מאותן סיבה שאנחנו עושים מבחני שימושיות (שבזמן האחרון מדברים עליהם הרבה), אבל הרבה יותר. חשוב למדוד כי רק בעזרת המדידה אפשר באמת לדעת אם פיצ’ר מסוים עובד או לא עובד. ואם מודדים בשכל אפשר גם להתחיל להבין למה. אבל על זה בפוסט אחר.
ולשאלה האחרונה להיום – עד כמה תוצאות המדידה צריכות להוביל את ההחלטות לגבי המוצר?
כאן התשובה היא (באופן מפתיע) – מורכבת. באופן עקרוני התשובה היא שתוצאות המדידה צריכות להוביל את ההחלטות לגבי המוצר, נקודה. אבל כמובן שזה לא כל כך פשוט.
כאן נכנסת לתמונה האומנות שהיא ניהול המוצר. האם הפיצ’ר לא עובד כי הוא לא מענין אף אחד (פספסנו בניתוח שלנו את הצרכים של המשתמש), או שאנשים נורא מנסים להשתמש אבל לא מבינים איך (בעיה ביישום), או שהם מאוד נהנים להשתמש אבל לא מוכנים לשלם עבוד הפיצ’ר הזה (אז טוב שאנחנו מציעים אותו, אבל צריך לחשוב טוב איך למנף אותו), וכו’.
אם הפיצ’ר עובד – גם זה מוביל לרשימת שאלות. למה הוא עובד? (כי מנהלת המוצר גאונה כמובן), איך אפשר לגרום לו לעבוד יותר טוב? האם כדאי לעודד עוד משתמשים להשתמש בו? האם צריך להמשיך אותו לכיון אחר? וכו’.
לסיכום, אני מקוה שהפוסט הזה ענין אתכם, כי ענייני מדידה מעניינים אותי מאוד בימים אלה, ולכן סביר להניח שתשמעו עליהם קצת יותר כאן בבלוג.
ונסיים בשאלה – האם מודדים בארגון שלכם את הצלחת המוצר? עד כמה המדידה חשובה/מובילה להחלטות?
6 Responses
אני עובד בחברת תוכנה ענקית (רמז, 2 אותיות…) ולמיטב ידיעתי, אין שום מדידה של מוצרים שהם לא אינטרנטיים.
זאת בעיה כללית במוצרי Enterprise אשר נוטים להיות מותקנים ברשתות סגורות, על שרתים יעודים ולעיתים ללא חיבור לאינטרנט.
אבל גם בלי היכולת למדידה מרחוק, אין מדידות (אפילו חד פעמיות) של המוצרים ושל השימוש בהם.
חלק רב מההחלטות לגבי מוצרים נובע מצרכים רגולגיטיים (תמיכה בתקנים וכו’).
מנסיוני (המועט) במוצרי אנטרפרייז מהסוג הזה המודל הוא מעט אחר, ומבוסס על מדידה של המכירות בלבד.
אולי זה הכרח המציאות (למרות שלא נראה לי). כשעבדתי בחברה שהמוצר שלה היה אנטרפרייזי, הבעיה שלי היתה שגם במוצרים אינטרנטיים לא היתה הערכה לחשיבות של המדידה. גם לא היה ברור של מי האחריות למדוד וללמוד מהמספרים. זה שיגע אותי. שאלתי מי בודק את המוצר הזה? מי צריך להוכיח שהוא מצליח? שהוא שווה את ההשקעה? למי אכפת? ואף אחד לא יכול היה לענות.
זו יכולה להיות שיטה, ובחברה גדולה זה אולי אפילו יכול לעבוד – קודם כל נשיק, ואחר כך נראה. בהנחה שאם המוצר יהיה הצלחה סוחפת כבר נדע, ואם לא אז לא. אבל קשה לי להאמין שיש הרבה חברות שיכולות להרשות לעצמן צורת עבודה כזו.
מנסיוני כאנליסט מוצר בחברת אינטרנט, לא די בבעל תפקיד האמון על המדידות והסקת המסקנות, אלא דרוש חינוך אירגוני למודעות לנושא. מאוד קל לאסוף ערימות לא נחוצות של נתונים, מאוד קשה להפיק מכך מסקנות ראויות ובעלות ערך לארגון. עם הזמן למדנו שכל אפיון של פיצ’ר חייב להכיל גם מדדים להצלחתו ואף תיאור שיטות המדידה. על מנת להגיע לכך נדרשה הטמעת מודעות לכך החל מהמתכנת הזוטר או מנהל הקמפיינים הזוטרים ביותר.
לצערי אין מודעות רבה לנושא בישראל, ויעידו על כך קטעי הקוד הדיפולטיים של Google Analytics שאפשר למצוא באתרים של חברות ישראליות.
אורן אתה כל כך צודק. אני יכולה לכתוב על כל שורה בתגובה שלך פוסט נפרד (ואולי אני אפילו אעשה את זה).
קל מאוד לאסוף נתונים לא נכונים, ואז לטבוע בנתונים ולא לעשות איתם כלום.
יש כאן ללא ספק ענין של תרבות ארגונית, חשיבה ותכנון, ואז יישום אינטיליגנטי.
כמו שאמר לי פעם מנהל של תחום ה-BI בחברה גדולה – לאסוף את כל הנתונים למקום אחד נח לשימוש זה פרויקט ענק שעולה המון כסף. למצוא אנליסיטים טובים שידעו להוציא מהנתונים האלה מה שצריך – זה כבר שווה זהב.