Когда речь идет о разных уровнях культуры / воспитания / образования / умственного развития - и, да, такая проблема, действительно, может быть (но не в случае автора), то формулируют совсем по-другому: мне плохо/некомфортно с этим человеком, у нас нет общих точек соприкосновения, ему неинтересно со мной, а мне - с ним, нам не о чем поговорить, мы не понимаем друг друга и т.п. А вот когда говорят: я его (ее) стесняюсь, мне за него (нее) стыдно - это сооовсем другая проблема.