Во дизајнот на експериментите, **неусогласеноста на односот на примерокот** ( **SRM** ) е статистички значајна разлика помеѓу очекуваните и вистинските соодноси на големините на групите за третман и контрола во експериментот. Неусогласеноста на односот на примерокот, исто така познато како неурамнотежено земање примероци  често се случувало во онлајн контролираните експерименти поради неуспеси во рандомизацијата и инструментацијата .

Неусогласеноста на односот на примерокот може да се открие со помош на хи-квадрат тест. Користењето методи за откривање на SRM може да им помогне на неекспертите да избегнат дискусии користејќи пристрасни податоци. Ако големината на примерокот е доволно голема, дури и мало несовпаѓање помеѓу набљудуваните и очекуваните големини на групата може да ги поништи резултатите од експериментот.

Несовпаѓањето на соодносот на примерокот е експериментален недостаток каде што очекуваната распределба на сообраќај не се вклопува со набљудуваниот број на посетители за секоја варијација на тестирање.

Со други зборови, СРМ е доказ дека нешто тргнало наопаку.

Несовпаѓањето на односот на примерокот е од клучно значење за да се знае при А/Б тестирањето.

Сега кога ја имате основната идеја, ајде да го разложиме овој концепт дел по дел.

Пример
------

Да претпоставиме дека извршиме A/B тест во кој по случаен избор доделуваме 1000 корисници на групи за третман и контрола со еднаква големина (поделба од 50-50). Очекуваната големина на секоја група е 500. Сепак, реалните големини на групите за третман и контрола се 600 и 400.

Користејќи го Пирсоновиот хи-квадрат добрина на тестот, наоѓаме несовпаѓање на односот на примерокот со *p* -вредност од 2,54 × 10-10. Со други зборови, ако доделувањето на корисниците било навистина случајно, веројатноста дека овие големини на третмани и контролни групи ќе се појават случајно е 2,54 × 10-10 .

Наводи
------

1. ↑  Esteller-Cucala, Maria; Fernandez, Vicenc; Villuendas, Diego (2019-06-06). „Experimentation Pitfalls to Avoid in A/B Testing for Online Personalization". *Adjunct Publication of the 27th Conference on User Modeling, Adaptation and Personalization* (англиски). ACM: 153–159. doi:10.1145/3314183.3323853. ISBN 978-1-4503-6711-0.
2. ↑  Fabijan, Aleksander; Gupchup, Jayant; Gupta, Somit; Omhover, Jeff; Qin, Wen; Vermeer, Lukas; Dmitriev, Pavel (2019-07-25). „Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners". *Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining* (англиски). ACM: 2156–2164. doi:10.1145/3292500.3330722. ISBN 978-1-4503-6201-6.
3. ↑  Nie, Keyu; Zhang, Zezhong; Xu, Bingquan; Yuan, Tao (2022-10-17). „Ensure A/B Test Quality at Scale with Automated Randomization Validation and Sample Ratio Mismatch Detection". *Proceedings of the 31st ACM International Conference on Information & Knowledge Management* (англиски). ACM: 3391–3399. arXiv:2208.07766. doi:10.1145/3511808.3557087. ISBN 978-1-4503-9236-5.
4. ↑  Vermeer, Lukas; Anderson, Kevin; Acebal, Mauricio (2022-06-13). „Automated Sample Ratio Mismatch (SRM) detection and analysis". *Proceedings of the International Conference on Evaluation and Assessment in Software Engineering 2022* (англиски). ACM: 268–269. doi:10.1145/3530019.3534982. ISBN 978-1-4503-9613-4.
5. ↑  Fabijan, Aleksander; Gupchup, Jayant; Gupta, Somit; Omhover, Jeff; Qin, Wen; Vermeer, Lukas; Dmitriev, Pavel. „Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners" (PDF). *Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '19)*. doi:10.1145/3292500.3330722.
6. ↑  Kohavi, Ron; Thomke, Stefan (2017-09-01). „The Surprising Power of Online Experiments". *Harvard Business Review*. ISSN 0017-8012. Посетено на 2023-05-19.
7. ↑  Vermeer, Lukas. „Frequently Asked Questions". *SRM Checker*. Посетено на 2022-09-15.