Думаю, что сначала надо попробовать    ребенка забрать  без скандала.    Типа, хорошо,  пусть с тобой поживет, на праздники привезешь,  я же  должна с дочкой общаться....  Он этого явно не  ожидает.    Почему он уехал вообще? они разводиться собирались?