Если квартира общая, то до раздела имущества он имеет право туда и приходить, и жить, когда ему удобно. Если квартира Ваша, то смените замки, подайте в суд на определение местожительства детей с Вами, предложите установить график общения с отцом. Пусть берет на свою территорию.