Его злит то что вы проверяете. А зачем вы это делаете? Чтобы уличить во лжи? Для чего? Если вам это нужно чтобы предпринять какие-то действия- предпринимайте, если же ради факта уличения- не стоит этого делать и уж тем более ставить его в известность. Получается вы ищете, находите, но ничего не делаете, т.е. принимаете его измену, потому и злится. В общем смысл такой: вы либо уходите, либо принимаете его слова на веру, окружаете заботой и любовью и...ждете. Кто кого "пересидит", а уж потом будете делать движения.