Потому что для большинства людей физмат недоступен, из-за способностей. Тут же недостаточно просто учить или иметь хорошую память, или слух. Короче это способность, которая не каждому дается от рождения. В Консерваторию же тоже не может поступить каждый второй. Но музыканты не в таком количестве требуются, как инженеры. Поэтому на физмат мест больше, чем мест в Консерваторию, например.