Невозможно все попробовать. Заниматься несколько лет только физикой для олимпиад под руководством жесткого тренера в закрытом коллективе - не самый разумный выбор на мой взгляд. Много чего пройдет мимо тебя, в том числе часть математики даже. Во взрослой жизни узость школьного образования скажется негативно.