Faits : A. A.A._ et B.A._ sont propriétaires des parcelles n° 8444, 8979 (sur laquelle est érigé un chalet construit en 1994) et 8988 de la commune d'Ayent, au lieu-dit "Gevrés-Bolués", en aval du village de Saxonne. Selon le plan communal d'affectation des zones (PAZ) et son règlement d'application (RCCZ) homologué en mai 2012, les parcelles se trouvent en "zone résidentielle R20 à aménager". Le 5 avril 2011, la commune d'Ayent a déposé une demande de remembrement parcellaire urbain (RPU) du secteur "Gevrés-Bolués". Le périmètre provisoire du remembrement, portant sur 44'196 m2, a été approuvé le 28 septembre 2011 par le Conseil d'Etat valaisan. L'enquête publique a été ouverte le 27 avril 2012. A.A._ et B.A._ se sont opposés au remembrement, faisant valoir que la route de desserte du secteur devait passer sur leur parcelle 8979 et les obligerait à des aménagements coûteux. Ils estimaient que les surfaces qui leur seraient attribuées ne respecteraient pas le principe d'équivalence et craignaient différentes nuisances. Par décision du 20 septembre 2012, la Commune d'Ayent a décidé d'exécuter d'office la procédure de remembrement. B. Les opposants ont saisi la Commission cantonale de recours en matière agricole et de remaniements parcellaires (ci-après: la commission), faisant notamment valoir qu'aucun plan d'aménagement détaillé n'avait encore été adopté. Par décision du 5 juin 2014, la commission a rejeté le recours. La décision communale ne portait que sur le principe de l'ouverture d'une procédure de remembrement et sur la définition du périmètre concerné. Ce périmètre correspondait notamment au secteur à aménager selon la planification de 2002 et de 2012. Selon l'état des charges du RCCZ, les parcelles du secteur "Gevrés-Bollués" étaient en l'état inconstructibles et un plan d'affectation détaillé (PAD) devait en organiser l'accès, compte tenu de la topographie difficile. Ce même cahier des charges prévoyait la nécessité d'un remembrement. Le principe général de coordination n'imposait ni la fusion des procédures d'adoption du PAD et de remembrement, ni l'adoption préalable du PAD. Le maintien des parcelles des recourants dans le périmètre du RPU était justifié et les autres arguments apparaissaient prématurés. C. Par acte du 18 août 2014, A.A._ et B.A._ forment un recours en matière de droit public par lequel ils demandent l'annulation de la décision de la commission et de la commune, et le renvoi de la cause à cette dernière pour mise à l'enquête du PAD sous réserve du dimensionnement de la zone constructible; subsidiairement, ils demandent le renvoi de la cause à la commission pour nouvelle décision au sens des considérants. La commission se réfère à sa décision et conclut au rejet du recours. L'Office des améliorations structurelles du canton du Valais et la commune d'Ayent concluent également au rejet du recours. Dans leurs dernières déterminations, les recourants ont maintenu leurs motifs et conclusions.