Автор, поговорите с ним, поставьте проблему достаточно жестко, не стесняясь.Что вам одиноко, что семья представляется вам не в таком виде итп.Не стесняйтесь заострить вопрос.Посмотрите что он скажет. Лучше поставить вопрос ребром, чем размениваться на любовников.