مقاله چهارم: تعیین شاخص‌های کوتاه مدت برای محصول

گیبسون بیدل، وی پی سابق پروداکت نتفلیکس (به این شرکت کمک کرد که رشد ۲ به ۱۳ میلیون کاربرو محقق کنه) این سری مقالات رو منتشر کرده است. در این مقاله به بررسی «چگونه یک شاخص را برای اثبات یا رد فرضیه خود تعیین کرده و پیشرفت را اندازه گیری کنید» می‌پردازیم.در نتفلیکس، شاخصی که ما برای ارزیابی کیفیت کلی محصول استفاده می‌کردیم، بازگشت ماهانه کاربران بود. این شاخص سطح بالای محصول انگیجمنتی، در طی بیست سال به طور قابل توجهی افزایش یافت. در روزهای اولیه، حدود ۱۰ درصد از اعضا هر ماه کنسل می کردند. در سال ۲۰۰۵ نرخ لغو ماهانه حدود ۴.۵ درصد بود. امروزه این عدد نزدیک به ۲ درصد است.با این حال، استفاده از شاخص بازگشت به عنوان شاخص برای همه پروژه‌ها امکان پذیر نیست. این متریکی است که به سختی تغییر می‌کند و اثبات بهبود آن نیازمند آزمون‌های A/B در مقیاس بزرگ است. تغییر و جابه‌جایی شاخص‌هایی سطح پایین- شاخص‌های نیابتی- آسان‌تر و سریع‌تر از شاخص‌های انگیجمنتی سطح بالا است. در حالت ایده آل‌، جابجایی یک شاخص نیابتی باعث بهبود در شاخص سطح بالا (به عنوان مثال بازگشت کاربران) می‌شود و در واقع همبستگی بین این دو را نشان می‌دهد. بعداً‌ می‌توانید رابطه علت و معلولی آن‌ها را با آزمون A/B اثبات کنید. چگونه "ساده" را اندازه‌گیری می‌کنید؟یکی از فرضیه‌‌های ما این بود که تجربه ساده‌تر اعضا باعث افزایش بازگشت آن‌ها می شود. اما چگونه "ساده" را اندازه گیری بگیریم؟ و چگونه می‌توان نشان داد که باعث افزایش بازگشت کاربران می‌ شود؟ما با بررسی داده‌های خدمات مشتریان شروع کردیم. چرا اعضا برای سوالات یا شکایات خود با نتفلیکس تماس می‌گیرند یا ایمیل می‌فرستند؟ هنگام مراجعه به صفحات راهنما بر روی چه لینک‌هایی کلیک می‌کنند؟ مشتریان کجا و در چه مرحله‌ای سردرگم می‌شوند؟ در طول زمان، ما تلاش خود را بر روی اعضای جدید متمرکز کردیم زیرا تعداد زیادی از مشتریان بالقوه در بالای قیف ثبت نام، یک فرصت تجاری قابل توجه را فراهم کرده بودند.ما با اعضای جدید در جلسات یک به یک و focus group صحبت کردیم. ما از گروه کوچکی از مشتریان خواستیم فعالیت هفتگی خود را با نتفلیکس برایمان بنویسند. در نهایت، ما داده‌های موجود را برای مسیر ثبت‌نام اعضای جدید و همچنین چند هفته اول آنها با این سرویس بررسی کردیم.یک نکته گیج‌کننده در بین اعضای جدید: سرویس اولیه دی وی دی با پست ما، مشتریان را ملزم می‌کرد که فهرست فیلم‌ها را بر اساس اولویت درست کنند که ما بتوانیم به ترتیب برای آن‌ها ارسال کنیم. اما برخی از اعضای جدید نتوانستند هیچ ویدئویی را به "صف" نتفلیکس خود اضافه کنند. برخی از اعضای جدید بسته‌ای را انتخاب می‌کردند، اطلاعات کارت اعتباری خود را وارد کرده و سپس می‌پرسیدند: "حالا چی؟" تصور افزودن حداقل سه عنوان به صف، بسیاری از اعضای جدید را گیج کرده بود.واضح بود که ما باید فرآیند ثبت نام و ساخت لیست فیلم‌ها را برای مشتریان آسان می‌کردیم. سرانجام، ما مجموعه‌ای از پروژه‌های "روز اول" را که بر حذف مراحل، کاهش سربار شناختی و ارائه شفافیت در مورد نحوه عملکرد سرویس متمرکز بودند، اجرا کردیم.شاخص نیابتی ما "درصد اعضای جدیدی که در اولین سشن حداقل سه عنوان به صف خود اضافه می‌کردند" بود. وقتی ما برای اولین‌بار به داده‌ها نگاه کردیم، ۷۰ درصد از اعضای جدید در اولین سشن حداقل سه عنوان به صف خود اضافه کرده بودند. در پایان سال، پس از انجام یک‌سری آزمایش‌های سریع، این درصد را به ۹۰ رساندیم.در همان مدت، ما شاخص بازگشت ماه اول کاربران را از ۸۸ به ۹۰ درصد رساندیم - هر دو شاخص بازگشت کاربران و"ساده" با هم بهتر شده بودند. ما تصمیم گرفتیم که برای یک آزمون A/B در مقیاس بزرگ وقت نگذاریم زیرا مطمئن بودیم که آزمایش سرراستمان باعث بهبود شاخص بازگشت می‌شود.شاخص نیابتی مناسبشاخص‌ نیابتی یک جایگزین برای شاخص انگیجمنتی سطح بالای شما -شاخصی که کیفیت کلی محصول شما را مشخص می‌کند- هستند. در ابتدا‌، شما به دنبال همبستگی بین شاخص سطح بالا و شاخص نیابتی هستید. سپس بر روی اثبات رابطه علت و معلول آن کار می‌کنید.در اینجا یک مدل ساده برای تعریف شاخص‌های نیابتی آمده است:درصدی از (اعضا/مشتریان جدید/مشتریان بازگشتی) که حداقل (حداقل آستانه برای فعالیت کاربر) را تا (دوره X در زمان) انجام می‌دهند.چند نمونه از شاخص نیابتی برای بازگشت کاربران در نتفلیکس:درصد اعضایی که حداقل یک عضو را در مدت شش ماه به لیست "دوستان" خود اضافه می‌کنند. فیچر دوستان نتفلیکس که با استفاده یک درصدی اعضا از این فیچر راه‌اندازی شد، در طی سه سال به ۵ درصد رسید. سپس نتفلیکس این فیچر را از بین برد. فرض بر این بود که شاخص نیابتی فیچر دوستان باید به بیست درصد برسد تا بهبود قابل ملاحظه‌ای در شاخص بازگشت کاربران حاصل شود. درصد اعضایی که حداقل ۱۵ دقیقه ویدیو را در یک ماه پخش می‌کنند. در زمان راه اندازی پخش زنده در سال ۲۰۰۷، این شاخص ۵ درصد بود. امروزه، این عدد بالای ۹۰ درصد است. ما پانزده دقیقه را انتخاب کردیم زیرا این کوتاه‌ترین زمانی بود که می‌توانست ارزش معنی‌داری داشته باشد - کوتاهترین زمان یک قسمت برنامه تلویزیونی پانزده دقیقه بود. (مطمئنم که نتفلیکس امروزه شاخص نیابتی مشابه‌ای را اندازه گیری می‌کند اما با "موانع" بسیار بیشتری - احتمالاً درصد اعضایی که حداقل ۱۰/۲۰/۳۰/۴۰ ساعت در ماه تماشا می‌کنند.)درصد اعضایی که حداقل شش دی وی دی در ماه به صف خود اضافه می‌کنند. وظیفه تیم بازارپردازی (merchandising team) این بود که کاربران بتوانند راحت‌تر فیلم‌ها را پیدا کرده و به لیست خود اضافه کردند. در ابتدا، شاخص ۷۰ درصد بود که با گذشت زمان، ما آن را به ۹۰ افزایش دادیم.درصد اعضای جدیدی که حداقل ۵۰ فیلم را در شش هفته اول خود با این سرویس رتبه بندی کرده اند. این شاخص نیابتی ما برای تلاش‌هایمان در جهت شخصی‌سازی بود. نظریه این بود که اگر مشتریان مایل به امتیاز‌دهی به فیلم‌ها باشند، به فیلم‌های پیشنهاد شده توسط نتفلیکس اهمیت می‌دهند. ما این شاخص را از اعداد کوچک تک رقمی به نزدیک به سی در طی چند سال سوق دادیم.درصدی از دی وی دی های انتخابی اول که روز بعد از طریق پست به اعضا تحویل داده شد. یکی از بینش‌های اولیه در مورد سرویس دی وی دی با پست ما این بود که ارائه اولین انتخاب دی وی دی در روز بعد بسیار مهم بود. در اندازه گیری اول، شاخص هفتاد درصد بود. ما با برقرار کردن پنجاه هاب خودکار ارسال دی وی دی در سراسر آمریکا این شاخص را به نود درصد رساندیم. ما همچنین داده‌های موجودی هر مرکز تحویل را با سیستم تجاری ادغام کردیم. ما فقط عناوینی را به کاربران نشان می‌دادیم که در مرکز حمل و نقل محلی یکی از اعضا موجود بود.هنگام ارزیابی شاخص‌های احتمالی مطمئن شوید که:قابل اندازه گیری باشد. می‌توانید داده ها را پیدا، جمع آوری و اندازه گیری کنید. در حالت ایده آل، می‌توانید شاخص را در یک آزمون A/B ارزیابی کنید و شاخص به پاسخ این سوال کمک می‌کند که "آیا باید این فیچر را راه‌اندازی کنیم یا نه؟" در ارزیابی استراتژی محصول جدیدتان، از خود بپرسید: "در یک آزمون A/B ، از چه شاخصی برای تصمیم گیری رفتن/نرفتن استفاده می‌کنیم؟"قابل جابجایی باشد. می‌توانید از طریق تغییر در تجربه محصول، بر شاخص تأثیر بگذارید.میانگین نباشد. خطر میانگین‌ها این است که شما می‌توانید با الهام بخشیدن به زیرمجموعه کوچکی از مشتریان برای انجام کارهای بیشتر، شاخص را تغییر دهید. اما این ممکن است اعضای کافی را برای بهبود تجربه کلی محصول تحت تأثیر قرار ندهد.با شاخص انگیجمنتی سطح بالای شما هم‌بستگی داشته باشد. برای نتفلیکس، شاخص نیابتی موفق و شاخص بازگشت کاربران با هم حرکت می‌کردند. در دراز مدت، شما امیدوار هستید که بتوانید رابطه علت و معلولی را از طریق یک آزمون A/B در مقیاس بزرگ اثبات کنید.مشتریان جدید در مقابل مشتریان فعلی را مشخص بکند. با رشد نتفلیکس، ما یاد گرفتیم که تلاش خود را بر روی اعضای جدید متمرکز کنیم. ما معتقد بودیم که برای تبدیل شدن به یک سرویس بزرگ در سراسر جهان ، باید محصول را برای اعضای جدید بهینه سازی کنیم. ما فیچرها را با اعضای جدید آزمایش می‌کردیم، سپس بر اساس نتایج مثبت به همه اعضا ارائه می‌دادیم. اعضای فعلی گاهی اوقات متوجه تغییر می‌شدند، از آن شکایت می‌کردند، اما به ندرت آن را لغو می‌کردند. (گاهی اوقات‌، اگر ما معتقد بودیم که خطر صدمه زدن به شاخص بازگشت کاربران وجود دارد، با اعضای موجود نیز آزمون A/B انجام می‌دادیم.)قابل بازی نباشد. یک مدیر محصول بر خدمات مشتری متمرکز بود. وظیفه وی این بود که اعضا بتوانند به راحتی به خود کمک کنند و در نتیجه از طریق شماره ۸۰۰ با تیم خدمات مشتری ما تماس نگیرند. شاخص تعیین کننده که در واقع نقش او بود "تماس در هر ۱۰۰۰ مشتری" بود و هدف این بود که این شاخص را به زیر ۲۰ تماس در هر ۱۰۰۰ مشتری کاهش دهیم. اما مدیر محصول به سرعت متوجه شد که می‌تواند با مخفی کردن شماره 800 با شاخص بازی کند. در نتیجه‌، ما شاخص نیابتی را بازبینی کردیم: "تماس/۱۰۰۰ عضو با شماره ۸۰۰ موجود در دو کلیک."یک شگفتی بزرگ در نتفلیکس: ما به سرعت تصمیم می‌گرفتیم، اما گاهی اوقات جداسازی شاخص نیابتی مناسب شش ماه طول می‌کشید. گرفتن اطلاعات، کشف اینکه آیا می‌توانیم شاخص را جابجا کنیم یا خیر، و اینکه آیا بین شاخص نیابتی و شاخص بازگشت رابطه علت و معلول وجود دارد زمان‌بر بود. ما بین سرعت و پیدا کردن شاخص مناسب سبک سنگین کردیم و بر دومی تمرکز کردیم. تیمی که بر روی شاخص اشتباه متمرکز باشد هزینه زیادی به شرکت تحمیل می‌کند.در نهایت، هر یک از مدیران محصول در تیم من، توانستند عملکرد خود را از طریق یک یا دو شاخص نیابتی که به بهبود بازگشت ماهانه کاربران کمک می‌کرد، اندازه‌گیری کنند.تمرین استراتژی محصول (شماره ۶)شاخص انگیجمنتی سطح بالای خود را مشخص کنید-معادل بازگشت ماهانه کاربران در نتفلیکس. اکنون نتیجه تمرین خود را از مقاله قبلی (بسته‌ استراتژی، شاخص و تاکتیک) مجدداً مشاهده کنید و شاخص نیابتی خود را برای هر استراتژی سطح بالا با "شاخص نیابتی صحیح" که بالا گفته شد، ارزیابی مجدد کنید.مقدمه: چگونه استراتژی محصول خود را تعریف کنیم؟مقاله اول: مدل DHM ( کاربر خوشحال، سخت کپی شدن و حاشیه سود)مقاله دوم: از مدل DHM تا استراتژی محصولمقاله سوم: بسته‌ استراتژی، شاخص و تاکتیکمقاله چهارم: شاخص‌های نیابتیمقاله پنجم: کار کردن با رویکرد جز به کل#6 “A Product Strategy for Each Swim-lane”#7 “The Product Roadmap”#8 “The GLEe Model”#9 “The GEM Model”#10 “How to Run A Quarterly Product Strategy Meeting”#11 “A Case Study: Netflix 2020”#12 “A Startup Case Study: Chegg”#13 “TLDR: Summary of the Product Strategy Frameworks”