Вы можете в суде определить место жительства ребенка с вами, но судя по тексту, у вас нет спора, что ребенок живет у вас. ОТец только встрекчается с вашей точки зрения слишком часто и невзирая на ваш график и график ребенка. Укажите ему, что готовы ему предсотавить встречу в пару будних дней вечером и в выходные. Не ясен возраст ребенка, но можно и с ночевкой. если ребенок уже старше 5-6 лет. Можете предложить вариант, который вас устраивает. Телеграммой с копией и уведолмением. Можете через опеку согласовать. Пускать к себе в квартиру вовсе не обязательно, что значит остановить невозможно. Дверь не открыыайте, общаться он вправе на своей территории или на улице