На мой взгляд в математику необходимо вкладываться обязательно, но не с точки зрения олимпиадных успехов, а для того, чтобы уровень математики был достаточен для обучения в ВУЗе. Если поступать по физике, то без математики никуда. А если вкладываться  в углубленную базу временем и средствами, то возможно и перечневую олимпиаду удастся написать.