Если у него постоянно такие дурацкие шуточки - пожать плечами и отвернуться. Но для меня это показалось бы дикой выходкой. Последствия, в зависимости от тона, - от выяснения отношений до "закрой дверь с той стороны"В дальнейшем вполне можно сказать ему, что Вас такой его ответ обидел... так не разговаривают со взрослыми детьми.