Значит подготовка к олимпиадам не дает ему учиться в школе и осваивать школьную программу, чего обычно достаточно умному ребенку для подготовки к ЕГЭ.  Тогда и стоит бросать, или лучше вообще не начинать олимпиады, если есть беспокойство по поводу  того, что ребенок сможет освоить школьную программу для ЕГЭ.