У вас по умолчанию равные права на детей. Подавайте иск об определении места жительства детей с вами. Какие аргументы против будут у отца детей, на суде и выяснится. Вы алкоголик, накркоманка, нет? Тогда сложно сказать какие аргументы будут у него. На его квартиру прав у вас нет. Исключение только если были очень существенные вложения в квартиру, но и то это надо всё доказать.