Ну олимпиады по математике то это совсем другое, не приведение сложных формул к чему-то там и не сложные вычисления, которые могут быть в задаче по физике. Для всего этого в физике достаточно хорошего знания базового курса математики, а не олимпиадного. А в олимпиадной математике основное это не сложные вычисления, а сложные рассуждения, чистая логика, причём на очень высоком уровне. А в физике гораздо большее теории, чем в математике, и ее нужно очень хорошо знать и понимать и уметь применить к конкретной задаче, «увидеть» всякие процессы там, силы, которые вовлечены в задачу. Это и есть основной «олимпиадный» момент. А потом, да, уже начинаются вычисления  и логика, причём не на таком высоком уровне, как в олимпиадной математике, а именно что нужно знать хорошо басовый курс для этого всего.