Вам попался хороший чувак, раз Вы гнали из собственной квартиры, а он ушёл. Если будет возвращаться, то ни моральных, ни юридических прав нет, чтобы этому препятствовать. Если не устраивает его поведение и вообще он Вас не устраивает, то живите, как соседи и ведите раздельное хозяйство.