Не надо только ему свои обиды высказывать. Все ранво не поймет, а Вас обвинит в алчности (Вы же потом переживтаь будете). Действительно, найдите благовидный предлог, чтобы ему отказать. И если это возможно, постарайтесь с ним в его приезд не встречаться и не общаться.