Вы меня не поняли, ну совсем а при чем здесь его та семья, то было там, а вы есть сегодня и сейчас. ИМХО, ваша ошибка номер раз - что вы стали указывать ему на прошлый опыт и там у него была семья (возможно рассуждает он), а может было как то еще, может ему поставили такое условие, а ему это не нравилось, да мало ли что. Вам нужно обсуждать собственные отношения,  не прошлый опыт.