Мне вас, искренне жаль.У меня дядя двоюродный такой был.И тоже пост высокий занимал, он заместителем министра СССР был в свое время.Женолюб был- я такого больше не встречала!Жена ему и в 70 лет говорила,мол, Толя,когда же ты нагуляешься!Но семья у него  всегда была на высоте и на первом месте.Поэтому,если хотите свои кусочки счастья украдкой получать-то флаг вам в руки, продолжайте отношения.Но из семьи он никогда не уйдет,имхо, не стоит строить на этот счет никаких иллюзий!