Обязательно определите через суд место жительства ребенка с Вами, иначе он так же спокойно возьмет и отвезет ребенка к себе и ничего ему за это не будет ,он же отец и имеет право! Вот только после этого Вы можете на полном основании слать папу в лес и не пускать с ребенку, а если ему надо встречаться с ребенком, то пусть через суд время устанавливает...