Ну вообще то исходить надо из того, как он себя ведёт сейчас, а не вчера и месяц назад. Все преграды сейчас у вас в голове. Не вижу никаких проблем с определением места жительства с ним. Если он хороший отец, у детей будет больше возможностей. Если не очень хороший, сам откажется в вашу пользу.