Справедливости ради в этом выражении нет ничего оскорбительного. Тупыми или глупыми автор никого не называл, а не особо умный - понятие относительное. Можно сравнивать по разным критериям, по наличию ученой степени или по уровню IQ, по начитанности и тд. "Особо умных" людей действительно меньше, чем обычных.