Он вам по сути (не по форме!) все правильно сказал, вы же до рождения ребенка понимали, что мама для него более важный член семьи, чем вы, таких как вы у него еще много будет, а мама одна. Это его позиция. Не нравится - уходите к родителям (или на съем) и разводитесь, подавайте на алименты. Нравится - терпите дальше.