Ну вот смотрите. Он в семье сейчас и в семье будет. Вы для себя придумали отношения, для него это просто несерьезная связь. Согласитесь на необременительные отношения - помиритесь, не согласитесь - он уйдет делами и чувствами в семью. А вообще, у вас очень много заблуждений относительно него и ваших "отношений".