Вы играли, он играл, а не  вы стали "легкой добычей".. Не понимаю ваших метаний.. Хочется пойти - идите, не хочется - не идите.  Зачем вам  выливать ему что-то на голову?   Если будет намекать: а помнишь?, сделайте вид, что  вообще   не помните ничего подобного, и наверное он чудил с кем-то другим, и память его подводит.. Уж не думаю, что все сотрудники хотят собраться, чтоб вспомнить именно ваши похождения. Если ж так, то  плохой коллектив у вас был, чтоб спустя 15 лет вспоминать про такое, кмк..