Тут всё просто. Навязывать ребенку отцу не надо, потому что ребенок в новой семье никому не нужен. Если отец звонит "выдай мне ребенка" и если у вас и у ребенка нет никаких планов  и если ребенок хочет, то ребенок выдаётся. Если есть планы или ребенок не хочет, то извини, дорогой, мы сейчас заняты. Выдайте ребенку  телефон, если у него нет, пусть отец сам с ним договаривается о встречах, зачем там вы в качестве передаточного звена.