Нет, думаю, что не из-за внешности, скорее, характер, поведение, манера общения. А напрягаться и вправду не надо, сложилось - отлично, не сложилось - знаю, что проще отвернуться или отойти, чтоб не выбешивать. Но все понятно, как правило, с первых же минут общения, и это здОрово.