Только чтобы поступить в хорошую физматшколу, где дадут и базу по алгебре и геометрии на пару лет вперёд - нужны знания и достижения  именно по олимпиадной математике. Замкнутый круг получается.С другой стороны, в начальной и средней школе спецмат хорошо мозги прокачивает и логику развивает, так что не бесполезен, с него вполне можно начинать