Не надо копаться в себе. Просто примите тот факт, что длительное общение с этими людьми вас утомляет. И почему вы решили, что это всё? Вы с ними можете встречаться, общаться, но только не долго, и, тем более, не жить вместе.  Просто другой формат встреч определите для себя.