А зачем вам встречаться? Он у вас жить что ли планирует? Так откажите. В каком пьяном бреду вы согласились на такое? Или просто встретиться? Тогда можно и помягче - некогда вам, вот совсем и всегда некогда. И пресекайте уже гадости в свой адрес. Почему вы молча глотаете обиды, даже не возмутились ни разу, не обиделись?  А лучше и вовсе избавиться от такого общения