Можно и в 2 начать. Но  можно и в 7. Речь не идет о серьезном интересе к математике. Речь идет о поднятии текущего уровня в этом направлении. А в жизни ребенок может быть вообще гуманитарием будет. или гуманитариям нельзя даже приближаться к олимпиадным задачкам, потому что они для избранных?  И если дальше региона ребенок не пошел, то он лох, а все занятия математикой были напрасны?А спортом можно заниматься, если не планируешь на чемпионаты?А на инструменте играть, если не планируешь консерваторию?