В вашем случае отец всё-таки выполняет свои род. обязанности. Деньги на содержание ребёнка даёт, приходит. Если хочет забирать ребёнка, а вы против, то вам, я так думаю, стоит установить график общения с ребёнком. Это можно сделать и не через суд, а в опеке. Можете попросить, чтобы ребёнка папа видел и общался с ним в вашем присутствии.