А зачем ему к вам возвращаться? Вам 40, ему 55. Детей ему от вас новых не надо, потенция скоро будет  идти на убыль.  От стрессов еще это ускорится. Продолжать тайно бегать к вам - все равно жена опять узнает, потому что уже в курсе и будет пристальнее следить. Он дорожит семьей, иначе вообще не думал бы. Какие перспективы у вашего союза, если что? В чем его интерес ?