Правило большое, согласна. Но здесь нет прямого противопоставления. Вот если бы было так: "он был не вежливый, а бесцеремонный человек", тогда да, раздельно.Или здесь было бы еще одно отрицательное наречие, как то: "слушать далеко не интересно".Я считаю, что этот случай легко под подходит под это правило:"Слитно пишется не с наречиями на о, которые в сочетании с не образуют слова с противоположным значением (эти слова обычно легко заменяются синонимами без не): невысоко (низко), немало (много), немного (мало), неплохо (хорошо), несильно (слабо); У нас тоже неплохо на высших курсах (Пришв.); Немало книг, фильмов, песен и поэм вызвала к жизни эпопея звездолета "Темное Пламя" (Ефр.)".