Можно ответить: «Мне очень обидно слышать ваши слова. Я расстроен/расстроена тем, что вы сказали». Такой ответ покажет, что вы не оставили оскорбление без внимания, при этом не опустились до уровня обидчика.