Зачем пугать-то заранее? Спокойно можно учиться в физмате, не будучи математическим гением и не участвуя в олимпиадах (ну разве что в школьном этапе ВОШ, куда в полном составе всех сгоняют), а затем сдать на достаточно высокие баллы профильные предметы, чтобы поступить в хороший вуз, пусть и не там, где сплошь БВИшники и проходные за 300. Да и это возможно, если в последних классах школы уже  плотно дополнительно готовиться.