Такая реакция потому, что с другими людьми вы можете не общаться, а с этими должны и всё. Потому и раздражает. Нам далеко не все люди интересны и приятны, даже если в них нет ничего плохого. Просто с кем-то мы совпадаем, а с кем-то нет. Но вы молодец, что задумались об этом...