"К отцу" или "к нам"? Если квартира отца, то ребенок переезжает к нему, на мать подаете на алименты. Если квартира ваша, то он примак и ему придется договариваться с вами. А вам следует согласиться, если любите мужчину, то полюбите и его ребенка (так вроде тетки с детьми выражаются?).