Я вижу, вас смущает слово средний, хорошо, заменим это слово на большинство, для большинства людей в России или хотя бы в Москве верно то, что вы написали? "Наверное мы были более способны к математике, чем ученики другой школы. И что теперь? Все, дальше жизнь в шоколаде по определению? " - Нет, это автоматически не осначает жизнь в шоколаде, но у этих детей есть преимущества, к тому же уже давно известно, что развитие способностей в детском возрасте очень много значит, детям, которые учились в математической школе эти способности  развивали лучше.