А с чего вы взяли, что он живет вашей жизнью? то вы его жизнью живете. А у него основная жизнь - это жизнь с женой. И он это не особо и скрывал, раз так говорил. Зачем зря таить в себе надежду, если он прямым текстом ставил жену на первое место?