Сложно советовать, не зная детально ситуацию и ребенка. Только вам решать. Напишу про наш опыт. Также с пятого класса думали, что вот еще потерпим и адаптируется. Дотерпели до седьмого, ушли просто в хорошую школу в районе с хоть каким-то отбором детей в классе. А надо было еще раньше уйти. Сейчас ребенок уже в вузе, все хорошо. Резюме я для себя сделала такое - в физмат в 5 классе только детям, которые не могут без математики жить, любят с задачками ковыряться. Остальным - искать себя и определяться, если все-таки призвание физмат, успеют перейти в физмат в 7, 8, 9, когда это призвание себя проявит.