Faits :
A.
A.A._ et B.A._ sont propriétaires des parcelles n° 8444, 8979 (sur laquelle est érigé un chalet construit en 1994) et 8988 de la commune d'Ayent, au lieu-dit "Gevrés-Bolués", en aval du village de Saxonne. Selon le plan communal d'affectation des zones (PAZ) et son règlement d'application (RCCZ) homologué en mai 2012, les parcelles se trouvent en "zone résidentielle R20 à aménager".
Le 5 avril 2011, la commune d'Ayent a déposé une demande de remembrement parcellaire urbain (RPU) du secteur "Gevrés-Bolués". Le périmètre provisoire du remembrement, portant sur 44'196 m2, a été approuvé le 28 septembre 2011 par le Conseil d'Etat valaisan. L'enquête publique a été ouverte le 27 avril 2012. A.A._ et B.A._ se sont opposés au remembrement, faisant valoir que la route de desserte du secteur devait passer sur leur parcelle 8979 et les obligerait à des aménagements coûteux. Ils estimaient que les surfaces qui leur seraient attribuées ne respecteraient pas le principe d'équivalence et craignaient différentes nuisances.
Par décision du 20 septembre 2012, la Commune d'Ayent a décidé d'exécuter d'office la procédure de remembrement.
B.
Les opposants ont saisi la Commission cantonale de recours en matière agricole et de remaniements parcellaires (ci-après: la commission), faisant notamment valoir qu'aucun plan d'aménagement détaillé n'avait encore été adopté.
Par décision du 5 juin 2014, la commission a rejeté le recours. La décision communale ne portait que sur le principe de l'ouverture d'une procédure de remembrement et sur la définition du périmètre concerné. Ce périmètre correspondait notamment au secteur à aménager selon la planification de 2002 et de 2012. Selon l'état des charges du RCCZ, les parcelles du secteur "Gevrés-Bollués" étaient en l'état inconstructibles et un plan d'affectation détaillé (PAD) devait en organiser l'accès, compte tenu de la topographie difficile. Ce même cahier des charges prévoyait la nécessité d'un remembrement. Le principe général de coordination n'imposait ni la fusion des procédures d'adoption du PAD et de remembrement, ni l'adoption préalable du PAD. Le maintien des parcelles des recourants dans le périmètre du RPU était justifié et les autres arguments apparaissaient prématurés.
C.
Par acte du 18 août 2014, A.A._ et B.A._ forment un recours en matière de droit public par lequel ils demandent l'annulation de la décision de la commission et de la commune, et le renvoi de la cause à cette dernière pour mise à l'enquête du PAD sous réserve du dimensionnement de la zone constructible; subsidiairement, ils demandent le renvoi de la cause à la commission pour nouvelle décision au sens des considérants.
La commission se réfère à sa décision et conclut au rejet du recours. L'Office des améliorations structurelles du canton du Valais et la commune d'Ayent concluent également au rejet du recours. Dans leurs dernières déterminations, les recourants ont maintenu leurs motifs et conclusions.

Considérant en droit :
1.
Dirigé contre une décision prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), dans une cause de droit public (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
1.1. Le recours en matière de droit public au Tribunal fédéral est en principe recevable contre les décisions finales ou partielles (art. 90 et 91 LTF).
La procédure valaisanne de remembrement se caractérise par une succession d'opérations soumises à enquête publique selon la loi cantonale concernant le remembrement et la rectification de limites du 16 novembre 1989 (LRRL, RSV 701.2). Le résultat de certaines des étapes de cette procédure peut être attaqué par une voie de droit, comme en l'espèce la décision litigieuse qui statue sur l'introduction de la procédure de remembrement d'office et la délimitation du périmètre (cf. notamment art. 16 et 30 al. 2 LRRL). Si aucun recours n'est formé dans le délai de recours ou si celui-ci est rejeté, le résultat de la phase acquiert force de chose jugée et ne peut plus être remis en cause lors d'une étape ultérieure de la réalisation du remembrement. La décision entreprise constitue ainsi une décision finale au sens de l'<ref-law> (arrêt 1C_499/2011 du 19 juin 2012 consid. 1.2).
1.2. Les recourants ont pris part à la procédure devant l'autorité précédente. Ils ont manifestement qualité pour recourir au sens de l'<ref-law> contre la décision entreprise qui confirme l'inclusion de leurs parcelles dans le périmètre du remembrement.
Il y a donc lieu d'entrer en matière.
2.
Invoquant l'art. 20 LAT et le principe général de coordination, les recourants estiment qu'il y aurait lieu de coordonner les procédures de remembrement et d'adoption du PAD, dès lors que la forme, la situation et la dimension des parcelles devraient être déterminées en fonction de l'affectation et de l'équipement de la zone. En l'état, le périmètre serait inconstructible selon le cahier des charges du RCCZ, ce dernier prévoyant expressément que le PAD a comme objectif de réserver le tracé de la route et de régler le rapport à la rue des bâtiments.
2.1. Selon l'art. 20 LAT, lorsque la réalisation de plans d'affectation l'exige, le remembrement peut être ordonné d'office et au besoin exécuté par l'autorité compétente. Les autorités chargées de l'aménagement du territoire ne peuvent en effet pas se borner à régler le mode d'utilisation du sol par l'adoption des plans d'affectation (cf. art. 2 al. 1 et 14 LAT); elles doivent aussi prendre les mesures nécessaires à leur concrétisation ( ANDRÉ JOMINI, Commentaire de la loi fédérale sur l'aménagement du territoire, Zurich 1999, n. 3 ad art. 20 LAT). Lorsque la dimension des parcelles et le tracé des limites rendent difficiles l'implantation rationnelle des bâtiments dans une zone à bâtir ou compromettent l'équipement de cette zone, les autorités doivent intervenir d'office si nécessaire en mettant en oeuvre l'une des procédures prévues par les art. 20 LAT et 7 ss de la loi fédérale encourageant la construction et l'accession à la propriété de logements (LCAP, RS 843; remembrement, regroupement de terrains à bâtir ou encore rectification de limites, le cas échéant en relation avec une planification spéciale; cf. <ref-ruling> consid. 3d p. 427; <ref-ruling> consid. 2c p. 416; arrêt 1C_90/2007 du 9 janvier 2007 consid. 3.2) ou par le droit cantonal d'application (cf. art. 30 LRRL). La procédure de remembrement permet en particulier à la collectivité publique de se réserver les surfaces nécessaires à l'équipement de la zone à bâtir sans recourir à l'expropriation (arrêt 1C_499/2011 du 19 juin 2012 consid. 4.1).
2.2. L'essentiel de l'argumentation des recourants repose sur le fait que le périmètre du remembrement ne serait pas constructible. Il ressort toutefois des PAZ de 2001 et de 2012 qu'une partie du périmètre se trouve en zone résidentielle R20 dans un secteur bordé par la zone de village, une zone d'extension de village et une zone d'habitat collectif. Il s'agit, selon l'art. 32 RCCZ, d'une zone destinée à recevoir des habitations familiales, prioritairement des résidences principales (les résidences secondaires doivent demeurer l'exception). L'indice d'utilisation de base est de 0,20 (art. 33 RCCZ); le règlement fixe encore des prescriptions relatives aux distances, hauteurs et toitures, ainsi qu'au degré de sensibilité au bruit. Pour chaque zone à aménager prévue dans le PAZ, le règlement établit un cahier des charges spécifique. Pour les "Gevrés-Bolués", il précise ce qui suit: les terrains ne sont pas lotis et desservis de manière convenable, raison pour laquelle ils sont en l'état inconstructibles; l'aménagement projeté vise à organiser les accès au quartier qui risque d'être isolé à court ou moyen terme, et à développer le secteur en tenant compte de la topographie difficile. Ce cahier des charges est assorti d'un croquis où figurent deux routes d'accès ainsi que l'implantation, à titre indicatif, des bâtiments situés le long de ces axes. Le cahier des charges précise que "le plan d'aménagement détaillé a comme objectif de réserver le tracé de la route projetée et de régler le rapport à la rue des bâtiments à construire".
Ainsi, si le secteur est actuellement inconstructible, c'est en raison du défaut d'équipement et en l'absence du plan spécial exigé par le RCCZ. Le secteur n'en demeure pas moins clairement en zone à bâtir conformément à la planification de 2001 confirmée en 2012, et la procédure de remembrement apparaît bien destinée à la réalisation d'un plan d'affectation au sens de l'art. 20 LAT.
2.3. Contrairement à ce que soutiennent les recourants, le droit fédéral n'exige pas que les procédures de planification spéciale et de remembrement soient menées simultanément, ou que le PAD soit nécessairement adopté en premier lieu. Les deux procédures ont en effet des objets distincts, de sorte qu'on ne saurait imposer un ordre de priorité absolue entre les deux démarches.
Le principe de coordination (art. 25a LAT) s'impose "lorsque l'implantation ou la transformation d'une construction ou d'une installation nécessite des décisions émanant de plusieurs autorités" (al. 1). Ces exigences sont aussi applicables par analogie à la procédure d'adoption des plans d'affectation (al. 4), lorsqu'une autorisation spéciale (par exemple un défrichement) est nécessaire. S'agissant en revanche de la procédure de remembrement, celle-ci peut, selon les circonstances, être traitée de manière séparée, soit préalablement, soit ultérieurement à la planification (arrêt 1C_348/2007 du 21 décembre 2007, consid. 6.2). Les recourants se prévalent également en vain, sur ce point, des buts généraux énumérés à l'art. 1 al. 1 LAT. Ainsi, si une certaine coordination matérielle peut apparaître souhaitable (Z EN-RUFFINEN/GUY-ECABERT, Aménagement du territoire, construction, expropriation, Berne 2001 n° 834 ss), aucune coordination formelle n'est en revanche exigée.
2.4. Selon l'art. 11 LRRL, lorsque le remembrement impose une adaptation du plan d'affectation des zones et du règlement des constructions, celle-ci doit être approuvée par l'assemblée primaire ou le conseil général avant l'exécution de la procédure d'enquête publique prévue dans la présente loi. Dans sa réponse au recours, l'Office cantonal des améliorations structurelles déduit de cette disposition que le PAD devrait être adopté et approuvé au moment de la mise à l'enquête du nouvel état parcellaire, et non lors de l'introduction ou des mesures préparatoires. Le droit cantonal imposerait ainsi une certaine coordination matérielle. Point n'est besoin de s'interroger sur l'application de l'art. 11 LRRL au cas d'espèce, dès lors que les recourants n'ont nullement invoqué cette disposition cantonale à l'appui de leur recours (<ref-law>); ils ne l'ont fait qu'en réplique, c'est-à-dire tardivement. Au demeurant, rien dans leur argumentation ne permet d'admettre que l'interprétation retenue par l'autorité cantonale serait arbitraire dans ses motifs ou son résultat.
3.
Les recourants invoquent enfin la disposition constitutionnelle relative aux nouvelles résidences secondaires (art. 75b Cst.). Ils relèvent que la commune d'Ayent fait partie des communes concernées, ce qui imposerait un nouvel examen des réserves d'utilisation pour la construction d'habitations, en vertu des art. 15 et 21 al. 2 LAT. En l'attente d'un tel examen, un remembrement ne serait pas possible.
Le périmètre du PAD est consacré en priorité à la résidence principale; les résidences secondaires doivent y demeurer l'exception. On ne saurait ainsi affirmer d'emblée que l'aménagement du périmètre serait mis en échec par la nouvelle disposition constitutionnelle. Quoi qu'il en soit, la question du dimensionnement de la zone à bâtir doit être traitée dans le cadre de la procédure d'aménagement, et non dans celle du remaniement parcellaire. Le grief est dès lors prématuré.
4.
Sur le vu de ce qui précède, le recours doit être rejeté. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge des recourants qui succombent. Conformément à l'<ref-law>, il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants et de la Commune d'Ayent, au Service de l'agriculture du canton du Valais et à la Commission de recours en matière agricole et de remaniements parcellaires du canton du Valais.
Lausanne, le 11 février 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Kurz