Тогда, с моей точки зрения, основная проблема как раз в математике. Причем не в олмате, он для физики не нужен, а в углубленной математике, которую дают и отрабатывают в физматах. Можно попробовать посмотреть вступительные в физматы и программы переводных экзаменов, чтобы оценить уровень и пробелы. Математику в любом случае надо вытягивать, так как ЕГЭ все усложняется.