Смотря какая программа в вашей школе. Посмотрите, например,учебник Ивановой, по которому учатся классы 2*2, если на этом уровне заниматься, то их олимпиады уже не покажутся такими сложными. Но должна быть системная работа, конечно. Если вы учитесь по стандартам ШР, то к концу 4 класса безнадежно отстанете от детей, которые  во 2 классе  умножают за пределами таблицы умножения и решают уравнения в несколько действий. Догнать то конечно не невозможно, но уже затруднительно и не каждый ребенок захочет.