Да пусть он будет у вас дома. Пусть с детьми общается. Редко, когда папаши сами инициируют общение. И детям хорошо, и вам удобно(сами на этом акцент сделали). Вы помимо всего этого стройте свою жизнь. Заводите знакомства, ходите на свидания. Ситуация сама разрешится. Удачи!