در مواردی تست A/B گاهی با شکست مواجه شده است. زیرا برگزار کنندگان تست، اهداف مشخصی نداشته‌اند. بنابراین داشتن هدف بسیار حائز اهمیت است. از این تست در مورد فرضیه‌ها استفاده کنید به طور مثال: آیا افزودن یک تصویر به صفحه فرود باعث افزایش نرخ تبدیل می شود؟ آیا مردم بیشتر روی دکمه قرمز کلیک می‌کنند یا دکمه آبی؟ اگر تیتر را تغییر دهم تا بر محدودیت زمانی تاکید کنم چه؟ اینها مواردی هستند که به راحتی قابل اندازه گیری هستند. وقتی افراد تئوری‌هایشان خیلی مبهم است، مانند آزمایش دو طرح کاملاً متفاوت با انواع مختلف، در تست A/B دچار مشکل خواهند شد.