پاسخ ساده: تا زمانی که به یک پاسخ آماری مهم برسید.پاسخ پیچیده تر: خب، مقداری پیچیده تر است. برای رسیدن به پاسخی عالی، پیشنهاد می کنیم پاسخ Ronny Kohavi را در سایت Quora.com بخوانید. "تصمیم گیری درباره مدت تست A/B باید براساس مقادیر بیشتری نسبت به p باشد. اندازه نمونه ممکن است مهم باشد اما اگر کل پایگاه مشتریان را نشان ندهد، نتایج تست شما ممکن است غیر دقیق و گمراه کننده باشد."