Чтобы этого не случилось (Ваш последний абзац), необходимо соблюсти все формальности: т.е. документально зафиксировать, что девочка живет в семье отца и мать не платит алименты и не встречается с ребенком. На основании этого через полгода можно ставить вопрос о лишении родительских прав. Это, конечно, потребует некоторых телодвижений (в основном, от мужа, конечно), но в сложившейся ситуации они могут оказаться совсем не лишние.