Вы говорите о своем любовнике, как о ребенке, "приручу", "будет худо". Он взрослый человек, который прекрасно отдает своим постукам отчет, уверяю вас. Делайте так , как удобно именно вам в данной ситуации, без оглядки на любовника и мужа. Но, сдается мне, что всей этой ситуации придан оооочень большой налет романтики, тогда как в реале все гораздо более прозаично.