Начинать - и физикой поздно. Усилить - никогда не поздно, если какие-то хорошие  результаты есть. Олимпиада - это соревнование, как и физически, для нужного результата надо заниматься усиленно, долго, кропотливо.  Кто занимался, занимается, тот и впереди. Олимпиадная информатика  тесно связана с олимпиадной математикой, поэтому успешные в олимпиадной информатике школьники занимаются и математикой.