اشتباهات رایج در اجرای تست A/B (بخش دوم)

در مطلب پیشین اشاره کردیم که در تنظیم تست A/B ممکن است دچار اشتباهاتی شویم که آشنایی و اجتناب از این اشتباهات، در صرفه جویی وقت و هزینه به ما کمک می‌کند. همچنین به شش مورد از رایج‌ترین این اشتباهات پرداختیم. در این مطلب نیز به شش مورد دیگر از این اشتباهات خواهیم پرداخت.اشتباهات رایج در اجرای تست A/B (بخش دوم)هنگام تست A/B باید از چه اشتباهاتی اجتناب کرد؟1) عدم پیروی از یک فرآیند تکرار شوندهتست A/B فرآیندی تکرارشونده است که هر تست بر پایه‌ی نتایج تست‌های قبلی ساخته می‌شود. بسیاری از کسب‌وکارها پس از شکست در اولین آزمون، از ادامه دادن تست A/B منصرف می‌شوند. اما برای افزایش شانس موفقیت در آزمون بعدی، باید از نتایج و نکاتی که از تست قبلی خود به دست آورده‌اید، در حین برنامه ریزی و اجرای آزمون بعدی استفاده کنید. این احتمال موفقیت آزمون شما با نتایج آماری معنادار را افزایش می‌دهد.علاوه بر این، پس از یک تست موفقیت آمیز، تست کردن دوباره را متوقف نکنید. هر عنصر را به طور مکرر آزمایش کنید تا بتوانید بهینه‌ترین نسخه آن را تولید کنید، حتی اگر محصول یک کمپین موفق باشند.2) عدم آگاهی از موارد کاهنده‌ی اعتبار تستحتی با وجود اندازه نمونه، درصد اطمینان، و مدت زمان تست مناسب، موارد زیادی وجود دارد که می‌تواند اعتبار نتایج تست شما را زیر سوال ببرد.· تأثیر ابزار تستیکی از رایج‌ترین مشکلات زمانی است که ابزار تست (یا ابزارها) باعث ایجاد داده‌های ناقص در تست می‌شوند. اغلب به دلیل اجرای یک کد اشتباه در سایت است که باعث می‌شود نتایج منحرف شود.شما باید در هنگام تست دقت زیادی به کار ببرید. وقتی تستی را تنظیم می‌کنید، به تک تک اهداف و شاخص‌هایی که ثبت می‌شود توجه کنید. اگر شاخص تست داده‌ی مربوطه را ارسال نمی‌کند، آزمایش را متوقف کنید، مشکل را پیدا کرده و برطرف کنید، و پس از تنظیم مجدد داده‌ها، تست را از نو شروع کنید.· تأثیر تاریخاتفاقات و رویدادهای دنیای بیرونی می‌تواند باعث ایجاد داده‌های ناقص در تست شود. این اتفاق می‌تواند یک رسوایی در مورد شرکت شما، یا شروع فصل تعطیلات خاص (کریسمس، روز مادر و غیره) باشد. اتفاقات سیاسی و رسانه‌ای نیز می‌تواند بر روی کسب و کار شما تأثیر بسزایی بگذارد. پس از رویدادهای دنیای اطرافتان باخبر باشید، به آن‌ها دقت کنید و سعی کنید همگام با این رویدادها تصمیمیات کسب و کارتان را چندین باره بسنجید.· تأثیر گزینشانتخاب نمونه از مخاطبان برای تست بسیار مهم است. یکی از اشتباهات ما زمانی رخ می‌دهد که فرض کنیم بخشی از ترافیک، کل ترافیک را نشان می‌دهد.برای مثال، شما از ترافیک ایمیل‌های مشترکین خود برای تست کردن صفحه‌ای از وب‌سایتتان استفاده می‌کنید، اما باید دقت کنید که مشترکین سایت شما معمولا افرادی هستند که به محصولات و خدمات شما علاقه بیشتری دارند، پس نمی‌توان از این افراد به عنوان نماینده‌ای برای کل مخاطبانتان استفاده کرد.· تأثیر کد ناقصشما برای مشکلتان راه حلی پیدا کرده‌اید و مشکلتان را برطرف کرده‌اید؛ اما با این حال، حل این مشکل هیچ تغییری در نتایج شما ایجاد نمی‌کند. در این موارد معمولا راه حل شما در مرورگر یا دستگاهتان ناقص نشان داده شده است. هر زمانی که یک راه حل را عملی کردید، حتما تست تضمین کیفیت انجام دهید تا مطمئن شوید که در همه مرورگرها و دستگاه‌ها نشان داده می‌شود.3) ابزار تست معیوبفراگیری و محبوب بودن تست A/B منجر به ایجاد طیف گسترده‌ای از نرم افزارها برای کاربران شده است، اما همه آنها از کیفیت یکسانی برخوردار نیستند. البته، ابزارهای مختلف عملکردهای متفاوتی دارند، اما ممکن است تفاوت‌های پیچیده‌تری نیز بین ابزارها وجود داشته باشد. اگر از این تفاوت‌ها بی‌اطلاع هستید، ممکن است قبل از شروع تست‌های A/B با مشکل مواجه شوید.به عنوان مثال، آیا می‌دانستید که برخی از نرم افزارهای تست می‌توانند سرعت سایت شما را به میزان قابل توجهی کاهش دهند؟ این کاهش سرعت می‌تواند تاثیر مخربی بر SEO سایت و نرخ تبدیل کلی داشته باشد.برای مثال، به طور متوسط فقط یک ثانیه طولانی‌تر شدن زمان لود شدن صفحه، باعث کاهش 11 درصدی در بازدیدها و 7 درصدی در تبدیل می‌شود. در چنین شرایطی، نرم افزار تست دقیقا برعکس آنچه که هدفتان است عمل می‌کند و وب سایت‌هایی که امیدوار بودید از طریق آزمایش A/B بهبود یابند، بدتر می‌شوند. انتخاب نرم افزار تست A/B شما می تواند بر نتایج آزمایشات شما نیز تأثیر بگذارد.بنابراین با وجود تمام این مشکلات پنهان، چه کاری می‌توان انجام داد تا مطمئن شد که نرم افزار تست A/B به خوبی کار می‌کند؟راه حل: تست A/A اجرا کنید. قبل از اجرای تست A/B، باید تست A/A را با نرم افزار خود اجرا کنید تا مطمئن شوید که بدون تاثیر بر سرعت و عملکرد سایت کار می کند.4) عدم درک خطاهای (ارور) نوع I و نوع IIممکن است به نظرتان برسد که همه چیز را درست انجام داده‌اید، اما این دو خطا می‌تواند نتایج شما را تغییر دهد. پس دقت کنید تا در مراحل اولیه آن‌ها را تشخیص دهید.خطای نوع I: این خطا به عنوان خطای آلفا (α) و مثبت کاذب نیز شناخته می‌شود. در این نوع خطا، به نظر می‌رسد که تست درست کار می‌کند و می‌توان تغییرات را در نتایج دید. اما این تغییرات مثبت فقط موقتی هستند و زمانی که نسخه برنده را برای مدت زمان قابل توجهی راه اندازی کردید، از بین می‌رود. برای مثال، ممکن است برخی از عناصر بی‌اهمیت را آزمایش کنید که ممکن است در حال حاضر نتایج مثبتی را نشان دهند، اما پس از به کارگیری نتایج ملموسی به شما نمی‌هند.خطای نوع II: همچنین به عنوان خطای بتا (β) یا منفی کاذب شناخته می‌شود، و زمانی اتفاق می‌افتد که یک آزمون خاص بی‌نتیجه یا ناموفق به نظر برسد و فرض صفر درست به نظر برسد.فرض صفر در اینجا به معنای فرضیه‌ای است که شما می‌خواهید نادرست بودن آن را اثبات کنید، اما در خطای نوع II، درست به نظر می‌رسد.برای مثال، نتایج تست به شما نشان می‌دهد که تغییرات شما مثبت نبوده است، در حالیکه در واقعیت این تغییرات نتایج مثبتی داشته‌اند.5) استفاده مداوم از تست A/B ساده و عدم تغییر آندر حالی که اکثر متخصصان توصیه می‌کنند که سفر تست خود را با اجرای تست‌های کوچک A/B در وب‌سایت شروع کنید تا بهتر و بیشتر با فرآیند تست آشنا شوید؛ اما در دراز مدت، استفاده از تست A/B ساده برای کسب و کار شما معجزه نمی‌کند. به عنوان مثال، اگر می‌خواهید جایگشت دکمه‌های CTA، رنگ، متن و تصویر بنر صفحه خود را آزمایش کنید، باید از تست چند متغیره استفاده کنید.6) عدم مداومت در تست A/Bبرخی از شرکت‌ها به طور مداوم سایت‌های خود را بهینه می‌کنند، به این معنی که آن‌ها همیشه در حال آزمایش هستند و تبدیل‌ها را افزایش می‌دهند. اما بسیاری دیگر چنین کاری نمی‌کنند.عدم مداومت در تست خطای بزرگی است چرا که چیزی به نام تست A/B ناموفق وجود ندارد، زیرا هدف یک تست جمع آوری داده است. شما می‌توانید از نتایج به ظاهر منفی، نکات غیرمنتظره‌ای یاد بگیرید که به شما در تنظیم تست‌های جدید کمک می کند.حالا که اطلاعات بیشتر و مفیدتری درباره بایدها، نبایدها و اشتباهات تست A/B به دست آورده‌اید، به یاد داشته باشید که همه چیز از مشتریان شروع می‌شود و به آنها نیز ختم می‌شود.بنابراین، قبل از اینکه فرضیه خود را بر اساس حدس و گمان قرار دهید، مطمئن شوید که به صدای مشتریان گوش داده و تجزیه و تحلیل کنید که چه تغییراتی باعث بهبود تجربه آنها و در نهایت سود شما می‌شود.