Ну что Вы из-за этого расстраиваетесь?  Судя по ситуации, у вас не совсем уж формальные отношения - пошутите в следующий раз над ним тоже. Как пример, я худенькая, маленькая, и как то раз мой начальник что-то ляпнул на тему, как же ему нравятся женщины с бюстами, а мне наверное тяжко живется? Вот честно, задело сначала - а потом, подошла к нему, на его животик пальцем показываю (а у него вот прям ЖИВОООТИК) и говорю невинным голосом: ну как, толкается? и пошла себе.. но я знаю, что он то мне мстить не будет. Зато больше не подкалывает. чтобы в ответ не получить.