У меня были такие случаи в жизни и я отвечала всегда максимально искренне: "Ну зачем ты мне такое сказала, не понимаю? Так неприятно, прямо настроение испортилось(". Такой ответ обескураживает больше, чем какие-то остроты в ответ, по моему мнению. Во всяком случае, всегда все извинялись, объясняли, что "не то имели в виду" и у меня самой не оставалось чувства невысказанности.