Он - отец, он имеет право общаться с детьми. Если он готов им помогать, содержать их, принимать участие в их воспитании, то нет проблем. Эти вопросы надо с ним решить. Все остальное, что касается вас лично, не его дело уже. Ну и жить он у вас конечно не должен, он вам теперь посторонний человек, поэтому не фиг ему телепаться в вашей квартире. Представьте, что теперь для вас привести его в свою квартиру - это все равно что привести в свою квартиру первого попавшегося мужика с улицы. Вы бы пустили чужого мужика к вам пожить и с вами поспать? Вот и он вам теперь чужой мужик. Повторяйте это себе по сто раз на дню, пока в это не поверите.