А чего отпускать или не отпускать?? Он что, баран на верёвке?? Сам уйдет и не спросит. А если не уйдёт, то продолжит спокойно с любовницей и дальше миловаться, всё равно жена слова не вякнет. А вякнет, то и по фиг - уйдёт.