Пусть это не совсем юридически законно, но я бы забрала у него ключи. А еще дала бы ему явно понять, что у вас есть личная жизнь. Отправьте к нему детей на пару дней, скажите, что уезжаете, даже если не с кем уехать, то изобразите поездку с мужчиной.