А может дело в том, что он просто не стал травмировать ребенка и не стал забирать ее от дедушки и бабушки? Вы не думали что он в отличии от вас просто любит свою дочь. Вот сейчас она к нему привкнет, и он сможет заборать ее к себе жить. Ваши родители не опекуны ребенку, и запретить отцу не могут. А вам ребенок и так не сильно нужен.