Происходит это следующим образом - в семье царит такая атмосфера,  что мысль что кто-то и где-то под настроение "справил нужду" абсолютно не ассоциируется с трагедией. Никто не ставит телефоны на пароли и не роется в них в поисках "запретных фраз" в переписках.  Даже в своем уточняющем вопросе, Вы все равно подменяете понятия, возможно, даже не замечая это.. "Роман на стороне", "любовник" это все явления подразумевающие существенную вовлеченность и отрыв от семьи и ее перипетий. Между тем речь идет о чем то, что не выходит за рамки возможности расслабиться в коллегой во время командировки, поехать с кем то домой после корпоратива или "отдохнуть" вместе с хорошими друзьями на даче.. Вот и все!