Может, надо инициализировать матрицу, чтобы гарантировать ```src.at<uchar>(0, 0) + 20 <= 255``` .
В любом случае, если есть прецеденты того, что результаты теста зависят от системы, то можно не убирать весь тест, а только его "сомнительную" часть.