Я тоже отодвигаюсь, но понимаю, что со стороны это выглядит не очень. Когда двигаются от меня, то сразу сбиваюсь с мысли на "  а вдруг у меня прыщ, волосина на лице, запах из рта и т.п." и стараюсь беседу свернуть побыстрее, хреновое получается общение