Физика неплохой предмет. Не обязательно иметь такие способности, как у математиков. Конкуренция на олимпиадах ниже, чем у информатиков и математиков, а если не брать самый топ, то в вузы уровня мифи или бауманки запросто возьмут на IT по физической олимпиаде. Да и начать заниматься можно позже.