Определение места жительства ребенка с матерью - это соглашение между родителями. К ребенку оно никакого отношения не имеет, он не обязан подчиняться. Придет к отцу - будет жить с отцом. И выгонять его отец права не имеет, обязан разрешить. Ваше мнение не требуется (как обычно в случаях с несовершеннолетними).Не нравится - можете подавать в суд уже с участием ребенка как одной из сторон (если его возраст позволяет) и получать решение. Только, скорее всего, если ребенок достаточно последователен, то решение будет именно в его пользу.