Олимпиадная математика тяжеловатая, как минимум специфическая. Если ребёнку не в радость постоянные соревнования, то, понятно, он не хочет мучиться. Причем, даже если есть неплохие способности. Но не обязательно быть олимпиадником для того, чтобы изучать потом математику, причём в лучшем ВУЗе. Вашему сыну, кстати, может гораздо больше физика или информатика понравиться. Не спешите. На олимпиады в 7 классе его все равно загонят.