Я хуже понимаю содержание разговора, если смотрю на собеседника (и когда он говорит и когда я говорю). Т.е. к самой теме разговора добавляются мимика, какие-то микроскопические телодвижения, которые, скажем так, "излишне загружают работу мозга по переработке важной информации". Поэтому, если разговор о чем-то важном, то я на собеседника не смотрю, а если простой треп - то нет проблем.