בזמן האחרון יוצא לי להתעסק הרבה בענייני מדידה של מוצרים. מסתמן שבתחום הזה יש הרבה דברים מאוד ברורים, אבל גם הרבה שאלות. נתחיל בשאלות.

מה מודדים במוצר אינטרנטי? איך יודעים אם המוצר מצליח? איך יודעים אם פיצ’ר מסוים מצליח? עד כמה זה חשוב למדוד? עד כמה התוצאות צריכות להוביל את ההחלטות לגבי המוצר?

לאף אחת מהשאלות האלה, אין תשובה פשוטה. התשובה היא תמיד מורכבת, ותמיד מתחילה ב”תלוי”. תלוי מה את מחפשת. מה אתה רוצה לדעת. עד איזו רמת פרוט את רוצה להגיע. מה המחיר של השגת הנתונים, ומה המחיר של כל פיצ’ר או שינוי. הכל מורכב.

לשאלה הראשונה – מה מודדים במוצר אינטרנטי? מה זו הצלחה של מוצר?
זה נשמע כאילו לשאלה הזו יש תשובה פשוטה – מוצר מצליח ברשת, הוא מוצר שהמוני אנשים משתמשים בו. תשובה יפה, אבל ממש לא מספיקה. המוני משתמשים זה הצעד הראשון, אבל הוא לא מספיק. מה שאתה באמת רוצה, הוא שהמוני האנשים האלה ישלמו, או יהיו מספיק “שווים”, עד שמישהו ירצה לשלם כדי שהאנשים האלה יראו פרסומות (למרות שמודל הפרסום הולך ומאבד את הכח שלו). דוגמא קטנה – לאף אחד אין ספק כיום, שפייסבוק הוא מוצר מצליח, נכון? ועדין לאורך הרבה זמן היה ויכוח גדול האם הוא “באמת מצליח”, כלומר האם הוא גם יצליח לתרגם את ההצלחה של מספר המשתמשים להצלחה כלכלית.

מוצר צריך להצליח בכמה רמות. ראשית, הוא צריך לגרום להרבה משתמשים לרצות להשתמש בו. כמה זה הרבה? שאלה טובה. הוא צריך לגרום למספיק משתמשים לרצות להשתמש בו, כדי שאפשר יהיה לבנות סביבו מודל כלכלי רווחי. מודל כלכלי רווחי צריך לכלול את כל ההוצאות שהוצאנו כדי לפתח ולשווק את המוצר,  את כל ההכנסות שיש לנו כרגע מהמוצר, ובשקלול של שני המספרים – להראות רווח.

איך יודעים אם פיצ’ר מסוים מצליח?
כמו שהזהרתי, התשובה היא מתחילה כמובן ב”תלוי”. תלוי למה קוראים הצלחה. גם בהקשר של פיצ’ר אחד ספציפי במוצר, צריך להגדיר הצלחה, ויכולות להיות הגדרות שונות. האם הפיצ’ר הזה מיועד לכל המשתמשים, או רק למשתמשים מסוג מסוים (מתחילים/מתקדמים/חינם/משלמים). מה מטרת הפיצ’ר? האם מטרת הפיצ’ר היא להעלות את המכירות של המוצר – ואז צריך למדוד האם הצלחנו באמת להעלות את המכירות. אולי מטרת הפיצ’ר היא להוריד את אחוזי הנטישה של משתמשים קיימים – כאן המדידה נעשית קצת יותר מורכבת, ועדין אפשר לבדוק האם אכן יש אפקט, האם המשתמשים שאכן משתמשים בפיצ’ר הזה נשארים עם המוצר יותר זמן. אולי המטרה היא “לגרום לבאז” – לגרום למשתמשים לשתף את חבריהם, להפיץ את בשורת המוצר. לכל מטרה כזו צריכה להיות מדידה מתאימה.

עד כמה זה חשוב למדוד?
הו! הנה שאלה שהתשובה אליה לא מתחילה בתלוי בכלל. להיפך – זה לא תלוי בכלום. חשוב מאוד מאוד מאוד למדוד.

הנה רשימת התרוצים שאנשים נותנים כשהם לא מודדים:
– עוד לא הגענו לזה, יותר חשוב לנו קודם כל להוציא את המוצר, ואז נראה.
אולי, אולי, אולי זה נכון בשבועיים הראשונים. אבל אם יש לכם מוצר שרץ כבר שבועיים, ואין לכם מדידה על איך אנשים משתמשים בו, אתם עושים טעות גדולה.

–  אנחנו לא צריכים למדוד, אנחנו יודעים איך אנשים משתמשים במוצר שלנו.
אהה. כי אתם מכירים את כל מי שמשתמש במוצר שלכם ומראיינים אותו פעם ביום? אפילו אם זה נכון, זה גם לא מספיק טוב, כי גם לראיונות יש מגבלות. אתם צריכים נתונים, ומהר.

–  אין לנו זמן לפתח מערכת מדידה. יותר חשוב לנו עכשיו להתרכז בדברים אחרים.
טעות גדולה. אף פעם לא יהיה זמן. לא צריך לפתח מערכת מורכבת. תמצאו מערכת שעובדת ותתקינו אותה

למה זה כל כך חשוב למדוד, אתם שואלים? ובכן, מאותן סיבה שאנחנו עושים מבחני שימושיות (שבזמן האחרון מדברים עליהם הרבה), אבל הרבה יותר.  חשוב למדוד כי רק בעזרת המדידה אפשר באמת לדעת אם פיצ’ר מסוים עובד או לא עובד. ואם מודדים בשכל אפשר גם להתחיל להבין למה. אבל על זה בפוסט אחר.

ולשאלה האחרונה להיום – עד כמה תוצאות המדידה צריכות להוביל את ההחלטות לגבי המוצר?
כאן התשובה היא (באופן מפתיע) – מורכבת. באופן עקרוני התשובה היא שתוצאות המדידה צריכות להוביל את ההחלטות לגבי המוצר, נקודה. אבל כמובן שזה לא כל כך פשוט.
כאן נכנסת לתמונה האומנות שהיא ניהול המוצר. האם הפיצ’ר לא עובד כי הוא לא מענין אף אחד (פספסנו בניתוח שלנו את הצרכים של המשתמש), או שאנשים נורא מנסים להשתמש אבל לא מבינים איך (בעיה ביישום), או שהם מאוד נהנים להשתמש אבל לא מוכנים לשלם עבוד הפיצ’ר הזה (אז טוב שאנחנו מציעים אותו, אבל צריך לחשוב טוב איך למנף אותו), וכו’.
אם הפיצ’ר עובד – גם זה מוביל לרשימת שאלות. למה הוא עובד? (כי מנהלת המוצר גאונה כמובן), איך אפשר לגרום לו לעבוד יותר טוב? האם כדאי לעודד עוד משתמשים להשתמש בו? האם צריך להמשיך אותו לכיון אחר? וכו’.

לסיכום, אני מקוה שהפוסט הזה ענין אתכם, כי ענייני מדידה מעניינים אותי מאוד בימים אלה, ולכן סביר להניח שתשמעו עליהם קצת יותר כאן בבלוג.

ונסיים בשאלה – האם מודדים בארגון שלכם את הצלחת המוצר? עד כמה המדידה חשובה/מובילה להחלטות?