А вы не слушайте, что "все говорят". Вы сходите, с учителями поговорите. С математиком. С историком. С классным руководителем. Какое у них мнение о вашем сыне? Как они оценивают его перспективы остаться в школе? Глядишь, и напрасны ваши волнения: ещё раз повторю, тройка по истории - это не повод не взять способного (!) мальчика в математический класс.