質問: a / bテストは追加の費用と時間の価値がありますか? クライアントは、主に設計とアプリケーションワークフローの使いやすさに焦点を当てたオンラインアプリケーションのブラインドa/b分割テストについて問い合わせています。クライアントのオフィスの誰かが、すべての大規模な機関がどのようにコンセプトのa/bテストを実施するかについての記事を読みました。-編集-アプリケーションについて:これは公開アプリケーションですが、ユーザーは有料のメンバーになるため、無料でオープンに使用することはできません。ユーザーは直接クライアントになり、クライアントはクライアントに製品を再販します。ピーク時のトラフィックは、おそらく+ -1000ユーザーです。一部のユーザーは毎日のユーザーですが、一部のユーザーは週に1x程度です。 -編集-結果は、追加の費用と労力を正当化しましたか?
回答: a/bテストには代わりがありますが、それを保持するにはいくつかのことが必要です。最も重要なのは、明確な成功指標が必要なことです。つまりaまたはbのどちらが優れているかを判断するのは簡単である必要があります。主に、サイトが特定の商業的目標に向けられている場合(たとえば、人々に購入注文をさせ、広告リンクをクリックさせるなど)。また、テストする明確な代替手段と、各a/bペアに対して統計的に有効な結果を得ることができる十分に大きいユーザーベースも必要です。ペアリングの数とテストの期間もこれの要因です。全体的なユーザビリティの向上に関心がある場合は、協力的なユーザビリティ評価を行うことをお勧めします(テストユーザーと一緒に座って、タスクリストを確認し、問題を確認します)。安価であり、非常に有用な結果が得られます。最終的には、あなたが達成しようとしていることについてのすべてです。