Что значит не остались бы у дороги? Поместите этих же детей в деревенскую среду, где математики будет ноль, а они с утра до вечера должны будут пасти коров, и они останутся у дороги.И даже если поместить этого ребенка в обычную школу в объеме школьной программы, а все остальное время не позволяй заниматься математикой, а заставь пасти коров (играть на пианино, заниматься спортом) - и в средней руки вуз он попадет легко, а топ.вузы пройдут мимо него...Но конечно если такому ребенку дать массу свободного времени, которое не занять спортом и музыкой, не позволить протратить на компьютеры, а из книг для чтения выдать только десяток задачников по математике, такой ребенок обойдется и без спец.школы с 5 класса.  Сам подготовится в топ.вуз, хотя может и на не самый ведущий факультет. Только создать такие условия в современной жизни крайне сложно.  И заниматься самостоятельно этот ребенок все же будет класса с 5, если не раньше.