Разница в том, что в первом случае, употреблено в прямом значении, а в другом в переносном. Если про вас кто-то скажет, что у вас кислая физиономия, у вас же не возникнет мысли дать говорящему попробовать ваше лицо на вкус? Или все-таки возникнет?