Faits:
A. Propriétaires des parcelles n° 2066 et 2081 de la commune de Sainte-Croix, A._ et B._ y ont aménagé en 2004 des écuries (sur la zone village) et un carré d'échauffement et de mise en extérieur des chevaux (paddock) de plus de 400 m2, principalement en zone agricole. Le 14 mai 2004, ils ont obtenu, pour cette dernière installation, une autorisation "à bien plaire".
Le 21 juillet 2009, le Service cantonal vaudois du développement territorial (SDT) a ordonné l'enlèvement du paddock et la remise du terrain dans l'état antérieur jusqu'au 31 mai 2010. Par arrêt du 19 février 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) a confirmé cette décision. L'installation litigieuse n'avait pas sa place en zone agricole. Ni les arguments d'ordre financier, ni les intentions (non concrétisées) de la commune de modifier la limite de la zone village ne permettaient de remettre en cause la proportionnalité de l'ordre de remise en état.
B. Au mois de mars 2010, les propriétaires ont demandé la fixation de nouveaux délais d'exécution afin de tenir compte de l'intention de la Municipalité de rectifier la limite de la zone village afin d'y inclure (moyennant compensation) la surface du paddock. Par lettre du 5 juillet 2010 adressée à C._ et à son épouse (propriétaires voisins), le SDT a fait savoir qu'il suspendait l'exécution des travaux de remise en état, l'affectation de la parcelle n° 2081 étant en cours de réexamen. La remise en état serait exécutée si la procédure de planification devait ne pas aboutir. Le SDT a confirmé cette décision les 28 octobre 2010 et 23 février 2011. C._ s'est adressé en vain au Tribunal cantonal pour obtenir l'exécution de l'ordre de remise en état. Par arrêt du 18 mai 2011 (1C_175/2011), le Tribunal fédéral a considéré qu'il appartenait à la cour cantonale de statuer sur un recours pour déni de justice dirigé contre le refus du SDT d'exécuter sa décision du 21 juillet 2009.
C. Par arrêt du 4 novembre 2011, la CDAP a admis le recours de C._. L'ordre de remise en état était entré en force, et le SDT était tenu de l'exécuter. Il n'y avait pas lieu à réexamen ou à révision des décisions rendues à ce sujet puisque la procédure de modification de la planification était alors insuffisamment avancée: au mois d'avril 2011, elle n'en était qu'au stade de l'"offre d'étude". Le sort d'une telle modification demeurait d'ailleurs incertain, de sorte que rien ne justifiait la suspension de l'ordre de remise en état. Ordre était donné au SDT d'exécuter sans désemparer sa décision du 21 juillet 2009 en octroyant de nouveaux délais dans ce but.
D. A._ et B._ forment un recours en matière de droit public par lequel ils demandent la réforme de l'arrêt cantonal en ce sens que le recours de C._ est rejeté, la décision du 21 juillet 2009 étant suspendue jusqu'à droit connu sur la nouvelle planification communale; subsidiairement, ils concluent à la seule annulation de l'arrêt attaqué. Ils demandent l'effet suspensif.
La CDAP conclut au rejet du recours en se référant à son arrêt. Le SDT s'est déterminé dans le sens de l'admission du recours. La Municipalité de Sainte-Croix relève qu'une procédure de modification de son plan général d'affectation (PGA) est en cours, au stade de l'examen préalable. C._, agissant en personne, se prononce dans le sens du rejet du recours et demande une indemnisation. L'Office fédéral du développement territorial a renoncé à présenter des observations, tout en relevant que le rétablissement d'une situation conforme au droit est d'une "importance primordiale". En réplique, les recourants ont maintenu leurs motifs et conclusions; ils relèvent que la modification du PGA a été mise à l'enquête du 16 mai au 14 juin 2012; ils demandent la suspension de la présente procédure jusqu'à droit connu à ce sujet. Le SDT estime que l'exécution de l'ordre de remise en état serait disproportionné s'il est prévisible que le paddock pourra être maintenu selon la nouvelle réglementation. Le SDT et la Municipalité se prononcent en faveur de la suspension de la procédure; C._ s'y est opposé. La cour cantonale s'en remet à justice.
Considérant en droit:
1. Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 lit. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (art. 82 lit. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que destinataires de la décision ordonnant l'exécution d'un ordre de remise en état de l'immeuble dont ils sont propriétaires, ils ont qualité pour recourir au sens de l'art. 89 al. 1 LTF.
2. Les recourants demandent la suspension de la procédure jusqu'à droit connu sur la modification du PGA communal, conclusion à laquelle adhèrent le SDT et la Municipalité. Toutefois, le litige porte précisément sur la question de savoir si l'ordre de remise en état doit être exécuté nonobstant la modification en cours de la planification communale, l'intimé s'étant plaint à cet égard d'un déni de justice. En outre, conformément à l'art. 99 al. 1 LTF, aucun fait nouveau ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le Tribunal fédéral doit dès lors statuer sur la base de l'état de fait existant au moment du prononcé attaqué, de sorte que l'issue de la procédure de planification ne pourrait rien changer au sort du recours.
Il ne se justifie donc pas de suspendre la procédure.
3. Les recourants se plaignent d'arbitraire dans l'application des art. 3, 74 al. 2 et 95 de la loi vaudoise sur la procédure administrative (LPA). Ils estiment que la lettre du SDT du 5 juillet 2010 constituerait une décision formelle contre laquelle C._ aurait dû recourir en temps utile. Le recours cantonal pour déni de justice aurait ainsi dû être déclaré irrecevable.
3.1 Une décision est arbitraire (art. 9 Cst.) lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. Il ne suffit pas que la motivation de la décision critiquée soit insoutenable; encore faut-il que celle-ci se révèle arbitraire dans son résultat. En outre, il n'y a pas arbitraire du seul fait qu'une autre solution que celle adoptée par l'autorité intimée serait concevable, voire préférable (ATF 138 I 305 consid. 4.3 p. 319).
3.2 Les dispositions cantonales invoquées par les recourants se rapportent à la notion de décision (art. 3 LPA), au recours pour déni de justice (art. 74 al. 2 LPA) ainsi qu'au délai ordinaire de trente jours pour recourir (art. 95 LPA). La lettre adressé par le SDT à C._ constitue apparemment une décision puisqu'elle autorise la suspension des travaux de remise en état. La précédente décision, qui fixait notamment certains délais d'exécution, s'en est trouvée provisoirement modifiée, de même que les obligations juridiques des parties concernées. Toutefois, ni cette décision, ni celles qui l'ont suivie les 28 octobre et 7 décembre 2010 ne comportent l'indication des voies de recours exigée par l'art. 42 al. 1 let. f LPA. Un tel défaut d'indication ne saurait dès lors porter préjudice à l'intéressé, qui n'était pas représenté par un avocat. Pour la même raison, il ne peut non plus être reproché à l'intimé d'avoir violé le principe de la bonne foi en n'attaquant pas immédiatement les communications du SDT. Par ailleurs, l'existence de décisions formelles attaquables ne privait pas l'intéressé du droit de recourir, en tout temps, pour déni de justice. Enfin, la cour cantonale s'est estimée liée par l'arrêt du Tribunal fédéral du 18 mai 2011, l'invitant à statuer sur le refus du SDT. Il n'y a dès lors aucun arbitraire sur ce point.
3.3 Les recourants se plaignent également en vain d'une application arbitraire des dispositions cantonales relatives à la qualité pour recourir, notamment l'art. 77 LPA. Cette disposition, de même teneur que l'art. 89 al. 1 LTF et qui doit être interprétée de manière aussi large, accorde par principe le droit de recourir à toute personne qui, comme en l'espèce, se trouve dans le voisinage direct d'une construction ou d'une installation litigieuse (ATF 137 II 30 consid. 2.2.2 p. 33).
4. Les recourants contestent l'existence d'un déni de justice imputable au SDT. Ils relèvent que celui-ci a régulièrement pris position sur les interventions de C._, et que la procédure de révision du PGA serait menée dans un délai raisonnable. Les refus d'exécuter l'ordre de remise en état étaient dûment motivés, de sorte qu'il serait contraire à l'art. 29 al. 1 Cst. d'admettre un déni de justice dans un tel cas.
Comme l'a relevé le Tribunal fédéral, un refus injustifié d'exécuter une décision entrée en force peut être constitutif d'un déni de justice formel prohibé par l'art. 29 al. 1 Cst. (arrêt 1C_175/2011 du 18 mai 2011, consid. 2). Toutefois, la cour cantonale ne s'est pas fondée sur cette disposition constitutionnelle, mais directement sur l'art. 59 al. 2 LPA, selon lequel les décisions du Tribunal cantonal sont exécutées par l'autorité administrative compétente en première instance. L'argument fondé sur l'art. 29 al. 1 Cst. apparaît dès lors sans pertinence et il y a lieu de s'interroger uniquement sur le respect du principe de proportionnalité, ainsi que sur les griefs relatifs à la possibilité d'un réexamen.
5. Les recourants estiment ensuite que l'attitude du SDT serait conforme au principe de la proportionnalité: selon l'addendum projeté au PGA, la surface du paddock devrait passer entièrement en zone de village, mesure compensée par le passage en zone agricole de 367 m2 de la parcelle n° 2066. Il serait disproportionné d'exiger l'enlèvement de l'installation alors que celle-ci pourrait être maintenue selon la réglementation projetée. L'atteinte à la réglementation ainsi qu'aux intérêts privés serait en outre minime et l'intérêt au rétablissement d'une situation conforme ne serait pas prépondérant. S'agissant d'un simple addendum partiel au PGA (et non d'une révision générale) bénéficiant de l'appui de la Municipalité, il n'y aurait pas lieu de s'attendre à une longue procédure.
5.1 Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne peut être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (ATF 132 II 21 consid. 6 p. 35 ; 123 II 248 consid. 3a/bb p. 252; 111 Ib 213 consid. 6b p. 224 s.; 102 Ib 64 consid. 4 p. 69). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF 123 II 248 consid. 4a p. 255; 111 Ib 213 consid. 6b p. 224 et la jurisprudence citée).
5.2 Ces principes ont été appliqués lors de la première procédure relative à l'ordre de démolition du 21 juillet 2009. Dans son arrêt du 19 février 2010, la CDAP a relevé que l'installation - dépourvue de l'autorisation cantonale nécessaire - n'avait pas sa place en zone agricole et n'était pas susceptible d'être autorisée en vertu des art. 24c LAT et 42c OAT. S'agissant de la proportionnalité, la cour cantonale a relevé que l'ordre de remise en état impliquait l'enlèvement des poutres de soutènement et de tout autre matériau ainsi que la remise du terrain en nature de pré-champ. Au regard de l'intérêt public au maintien de la zone agricole, les frais de rétablissement (60'000 fr., selon les recourants) n'étaient pas excessifs. Les intentions de la Municipalité de déplacer la zone village n'avaient pas reçu un début de concrétisation.
Cet arrêt n'a pas été attaqué et liait par conséquent tant les parties que les autorités chargées de l'appliquer. Les recourants n'étaient dès lors plus autorisés à se prévaloir d'un possible changement de planification pour s'opposer à son exécution, ni à remettre en cause la proportionnalité de la mesure, ces questions ayant été définitivement examinées. En cas de changement déterminant de la situation de fait ou de droit, seule une procédure de réexamen de la décision de base pouvait permettre de surseoir à l'exécution. Or, la cour cantonale a considéré que les conditions d'un réexamen n'étaient pas réalisées en l'occurrence.
5.3 Les recourants le contestent. Ils estiment que les conditions de l'art. 64 LPA (réexamen) étaient réunies puisque, après le premier arrêt de la CDAP, la procédure de modification de la planification s'était concrétisée par l'attribution d'un mandat à un bureau spécialisé et le dépôt d'un projet auprès des services cantonaux concernés. Il serait arbitraire de faire abstraction de ces faits nouveaux.
Les considérations de la cour cantonale à ce sujet résistent toutefois au grief d'arbitraire. En effet, une année après l'entrée en force de l'arrêt du 19 février 2010, le projet n'en était qu'à l'"offre d'étude". Il a ensuite été soumis pour examen préalable auprès du SDT et, pour autant que le Conseil communal adopte la modification proposée, celle-ci ferait encore l'objet d'oppositions (notamment de C._) et de recours, procédures dont l'issue apparaissait incertaine. Ainsi, les voisins se verraient imposer encore pendant plusieurs années la présence d'une installation dont l'illicéité manifeste a été constatée en juillet 2009 déjà. Admettre dans un tel cas une reconsidération de l'ordre de démolition irait à l'encontre de la sécurité du droit et favoriserait les comportements dilatoires.
6. Sur le vu de ce qui précède, le recours doit être rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge des recourants qui succombent. C._ a procédé en personne. Il demande une indemnité pour tort moral (prétention qui sort du cadre du présent litige) et prétend avoir engagé des frais de défense, mais ne chiffre ni ne prouve de telles dépenses. Par conséquent, il n'est pas alloué de dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis la charge des recourants.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à la Municipalité de Sainte-Croix, au Département de l'économie et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 14 janvier 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz