У отца равные с вами права.Если он подаст в суд или просто заберет ее как нибудь и не вернут -вы ничего не сделаете.Запретить общение по закону вы не можете, также и ограничить круг людей - девушек и т.д.Если вы предоставите доказательства в суд, что девушки и отец опасны для ребенка, тогда  да. Только его отношение к вам не доказательство.