Он таким образом показывает свою симпатию к вам, к вашей готовке, вашей красоте комплиментирует. Конечно, угловато, но совсем не со злости. Если вам совершенно неудобно, после очередного такого укола прямо ему и скажите: Вы знаете, когда вы задаёте мен такие вопросы, я теряюсь (не нахожу) что ответить. Мне интересно, какой ответ вы от меня ожидаете? Но спросить надо по доброму, с искренним удивлением.