Если бы хотел уйти к любовнице, то давно бы это сделал. Раз живет с Вами, то не надо ему этого. Здесь Вы должны взять инициативу в свои руки, а не вестись, как собачонка, за мужиком.Выяснения устраивайте! Пока выходные он и будет Вас же успокаивать. Начнутся будни - начнет любовница на мозг ему капать.