Да кто ж спорит, что возможно (и даже без всероса по математике) - только это штучные совершенно истории, и всегда на определенной базе (как минимум, сильная матшкола и не менее сильная мотивация с работоспособностью). В том и дело, что сейчас всё раньше. Курсов/кружков/лагерей все больше. Попасть в топовые места все сложнее (чем позже начал, тем сложнее). Соответственно, с возрастом этот разрыв растет, и в такой ситуации догонять становится гораздо тяжелее и трудозатратнее. Уже есть всеросы с математикой, которые занимаются инфой, но закл не поддается. То есть вот эта «одимпиадная специализация» проходит тогда, когда еще невозможно  говорить, что в инфу или физику ушли те, у кого не получилось с математикой.