Чья квартира? Он ушел от вас окончательно с вещами? Смените замкИ, чтобы не мог зайти в любое время. Дети спокойно могут выходить на улицу для свтречи с папой. Все общение между вами сполне может ограничиться сообщением когда он заберет детей, и когда привезет обратно.