Поздно. Это в советское время было нормально уйти в физмат на 2 года. А сейчас успехи должны быть задолго до 10 класса. Если же рассчитываешь на хорошее всестороннее образование, а не узко направленное, то и тем более. Максимум перехода - это в 7 класс, тогда будет толк. В крайнем случае в 8. А в 10 ты будешь только догонять ушедших далеко вперед и мучиться.