Меня бы слегка поднапрягло. Не хотеть есть - нормально. Не хотеть заказывать - тоже, ну бывает. но зачем тогда в кафе приглашать? Или если дама есть захотела - то так и сказать: пошли, но я есть не хочу, так что компанию тебе не составлю...ну как-то так.  У нас обычно в таких случаях хотя бы воду заказывают.