Меняйте замки. Это не норма, когда у бывшего мужа, даже с учетом того, что у вас есть общие дети, есть ключ от вашей квартиры. Можно предположить, что он есть у него на всякий случай (чего не бывает в жизни, дети и все прочее), но ПОЛЬЗОВАТЬСЯ им - это верх всякой наглости. Либо ключи пусть вернет, либо меняйте, личинки сменить недолго.