Квартира чья?Если ваша личная - не пускать.Если совместная, то уходить на выходные (гулять, в гости, в магазин...).На алименты подать.А вообще - уж лучше к нему детей отдавать. Сколько им, кстати? Вероятно у себя дома он будет вести себя менее агрессивно, так как вас рядом не будет.