Не совсем так. Переглядываются с тем, с кем приятнее разделить удовольствие от шутки, с кем на одной волне.  Человек может быть симпатичен, но чувство юмора нулевое, что на него смотреть, видеть, как тупит, и испытывать испанский стыд, что ли?