Faits :
A.
Les époux A.A._ et B.A._ sont propriétaires depuis le 19 novembre 2002 de la parcelle n° 575 de la commune de Cuarny (VD), colloquée en zone agricole selon le plan général d'affectation approuvé par le Conseil d'Etat le 19 février 1993. D'une surface de 31'892 m2, ce bien-fonds est cadastré en nature de pré-champ pour 28'744 m2et de forêt pour 2'732 m2. Il supporte une habitation autorisée en 1968 et une écurie autorisée en 1966 comportant sept boxes à chevaux, un poulailler, un clapier et un fenil. En 1966 apparemment, le précédent propriétaire de la parcelle n° 575 a modifié et terrassé des terrains anciennement en pente pour y réaliser un "rond de course" utilisé pour l'entraînement de ses chevaux de course. Cartographiée sur un plan de mensuration cadastrale suisse de 1980 et sur un "plan des périmètres" réalisé le 7 octobre 1991 dans le cadre d'un remaniement parcellaire, cette installation n'apparaît toutefois ni sur une photographie aérienne de 1968 ni sur une photographie aérienne réalisée en 1995.
Le 20 mars 2002, A.A._ a sollicité de la Municipalité de Cuarny l'autorisation de construire un carré de sable de 25 x 50 m pour ses chevaux. Par décision du 3 avril 2002, la municipalité a autorisé l'installation précitée. Outre qu'il est entièrement colloqué en zone agricole, ce paddock est pour moitié environ situé en surface d'assolement de qualité 1 ("très bon" à "assez médiocre").
B.
Après avoir constaté en 2012 l'existence de ce paddock, le Service cantonal du développement territorial (SDT) a ordonné, par décision du 18 mars 2014, la suppression du carré de sable, l'évacuation des matériaux et la remise du terrain en son état antérieur, seule une aire de sortie directement attenante aux écuries d'une surface de 202 m2 pouvant être autorisée. Saisie d'un recours des propriétaires contre cette décision, la Cour de droit administratif et public du Tribunal cantonal vaudois l'a réformée en ce sens que la surface du paddock doit être réduite à 252 m2, la décision étant confirmée pour le surplus.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que la réalisation du carré de sable est autorisée, subsidiairement, que le carré de sable doit être réduit à une surface de 800 m2. Plus subsidiairement encore, les recourants concluent à l'annulation de l'arrêt cantonal, respectivement à son annulation avec renvoi de la cause pour nouvelle décision dans le sens des considérants. La cour cantonale se réfère aux considérants de son arrêt. Le SDT dépose ses observations et se réfère à sa décision. Invité à se déterminer, l'Office fédéral du développement territorial (ARE) constate que la prise en considération de sept chevaux pour fixer la surface admissible du paddock excède ce que prévoient les règles sur la détention d'animaux à titre de loisir. Il faudrait par ailleurs examiner si l'aire de sortie peut être aménagée sur un terrain directement contigu à l'écurie. La commune de Cuarny dépose elle aussi des observations. Les recourants répliquent et persistent dans leurs conclusions.
Par ordonnance du 15 janvier 2015, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final rendu en dernière instance cantonale dans le domaine de l'aménagement du territoire et du droit des constructions. Le recours est dès lors en principe recevable comme recours en matière de droit public selon les <ref-law> et 34 al. 1 LAT (RS 700), aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants sont particulièrement touchés par l'arrêt attaqué, qui confirme partiellement l'ordre de remettre en état certains aménagements sur la parcelle dont ils sont propriétaires. Ils disposent dès lors de la qualité pour recourir au sens de l'<ref-law>. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 2.4 p. 314) - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104 et les arrêts cités).
En l'espèce, les recourants déplorent d'un part que l'arrêt attaqué ne renseigne pas sur l'existence et la date d'aménagement du rond de course. Ils se plaignent d'autre part de l'absence de mention de la qualité du terrain. Or, la date d'aménagement du rond de course n'est pas décisive pour l'issue de la cause (consid. 3 ci-dessous). Quant à leur critique relative à la qualité du terrain, elle est purement appellatoire et ne saurait être retenue (cf. consid. 4 ci-dessous).
3.
Les recourants font valoir à titre principal une protection de la situation acquise. Ils estiment pouvoir se prévaloir d'une autorisation dérogatoire au sens des art. 24c LAT et 42 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1).
3.1. Selon l'art. 24c LAT, les constructions et installations sises hors de la zone à bâtir qui peuvent être utilisées conformément à leur destination, mais qui ne sont plus conformes à l'affectation de la zone, bénéficient en principe de la garantie de la situation acquise (al. 1). L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement (al. 2). L'<ref-law> précise qu'une transformation est considérée comme partielle et un agrandissement est considéré comme mesuré lorsque l'identité de la construction ou de l'installation et de ses abords est respectée pour l'essentiel (al. 1). Le moment déterminant pour l'appréciation du respect de l'identité est l'état de la construction ou de l'installation au moment de l'attribution du bien-fonds à un territoire non constructible (al. 2).
3.2. Pour se prévaloir de la garantie de la situation acquise, les recourants se réfèrent à l'existence du rond de course, dont le carré de sable serait le résultat d'une transformation partielle. Ils admettent toutefois que celui-ci n'a pas été entretenu par les anciens propriétaires entre 1992 et 1994 et concèdent que celui-ci n'apparaît pas sur une photographie aérienne de 1995. Ils échouent ainsi à démontrer la persistance du rond de course dans le temps, en particulier durant les dix années précédant l'aménagement par leurs soins du paddock litigieux. Ils invoquent ensuite le fait que le carré de sable occupe une surface moindre que celle de l'ancien rond de course, mais ne prétendent pas, et moins encore ne démontrent, que l'intérieur de ce rond de course, soit une surface plus importante que le cercle lui-même, aurait été aménagée. En d'autres termes, l'impact du rond de course - en particulier son emprise sur les terres cultivables - n'était pas comparable à celui du carré de sable litigieux et ne concernait pas la même surface. Dans de telles circonstances, il y a lieu de confirmer l'appréciation de la cour cantonale selon laquelle le paddock litigieux ne constitue pas un agrandissement mesuré d'une construction ou installation préexistante au sens de l'art. 24c LAT.
4.
Dans un deuxième argument, les recourants se plaignent d'une violation de l'art. 24e al. 2 LAT.
4.1. A teneur de l'art. 24e LAT, les travaux de transformation sont autorisés dans les bâtiments et les parties de bâtiments inhabités et conservés dans leur substance s'ils permettent aux personnes qui habitent à proximité d'y détenir des animaux à titre de loisir dans des conditions respectueuses (al. 1); dans ce cadre, de nouvelles installations extérieures sont autorisées dans la mesure où la détention convenable des animaux l'exige (al. 2). Afin d'assurer une détention respectueuse des animaux, ces installations peuvent excéder les dimensions minimales prévues par la loi pour autant que les exigences majeures de l'aménagement du territoire soient respectées et que l'installation en question soit construite de manière réversible (al. 3). L'art. 61 al. 2 de l'ordonnance du 23 avril 2008 sur la protection des animaux (OPAn; RS 455.1), prescrit une surface minimale par cheval pour une aire de sortie non attenante à l'écurie (en l'occurrence, 36 m2 par cheval de plus de 162 cm au garrot; cf. annexe 1, tableau 7, ch. 3 OPAn), ainsi qu'une surface de sortie recommandée, à mettre à la disposition des chevaux "dans la mesure du possible" (en l'occurrence, 150 m2 par cheval; cf. annexe 1, tableau 7, ch. 4 OPAn). La surface des aires de sortie à aménagement réversible, utilisables par tous les temps et non attenantes à l'écurie ne doit toutefois pas dépasser 800 m2, même si plus de cinq chevaux y sont détenus (annexe 1, tableau 7, ch. 4, note 8 OPAn).
4.2. Il n'existe manifestement aucun motif qui justifierait d'étendre le carré de sable à plus de 800 m2, comme le souhaitent les recourants, dès lors que la législation sur la protection des animaux ne le préconise elle-même pas.
Ensuite, conformément à l'art. 24e al. 3 LAT, la surface minimum prescrite par l'OPAn (à savoir, comme l'a retenu la cour cantonale, 7 x 36 m2, c'est-à-dire 252 m2 ) ne peut être excédée que pour autant que les exigences majeures de l'aménagement du territoire sont respectées. Figure parmi les principes régissant l'aménagement du territoire le fait de réserver à l'agriculture suffisamment de bonnes terres cultivables, en particulier, les surfaces d'assolement (art. 3 al. 2 LAT let. a), les cantons devant s'assurer qu'une surface totale minimale d'assolement fixée par la Confédération soit garantie de façon durable (<ref-law>). La jurisprudence relève elle aussi expressément qu'il faut accorder une importance majeure à la protection des terres cultivables et à la garantie des surfaces d'assolement (cf. <ref-ruling> consid. 3.3 p. 220 et les arrêts cités).
A cet égard, les recourants fondent leur argumentation sur une prétendue mauvaise qualité du terrain pour l'agriculture. Ce faisant, ils font valoir de manière appellatoire que la moitié de la surface litigieuse serait une surface d'assolement de qualité "médiocre à pauvre" et que l'autre moitié serait "de plus piètre qualité encore puisqu'elle n'est même pas considérée comme surface d'assolement". Or, l'arrêt attaqué, s'il ne mentionne effectivement pas l'une des moitiés de la surface concernée, indique que l'aire de sortie litigieuse est entièrement sur une pâture située en zone agricole et donc sur une terre cultivable. En outre, l'arrêt attaqué relève expressément que l'autre moitié est située en surface d'assolement de qualité 1, soit "très bon à assez médiocre" (arrêt attaqué, consid. B, p. 2), et non de qualité "médiocre à pauvre" comme le soutiennent sans motivation les recourants. Dans ces circonstances, l'argumentation de ceux-ci, selon laquelle la légalisation du carré de sable ne contreviendrait pas à l'objectif de préservation de bonnes terres agricoles prévu par l'art. 3 al. 2 let. a LAT, tombe à faux. Avec la cour cantonale, il y a lieu d'observer que les exigences majeures de l'aménagement du territoire sont affectées par l'emprise du paddock sur les terres cultivables, de sorte que les minima prescrits par la législation sur la protection des animaux ne sauraient être dépassés.
5.
Dans ses observations, l'ARE se réfère aux al. 3 et 6 de l'<ref-law>, à teneur desquels le nombre d'animaux détenus ne doit pas excéder la capacité des personnes qui résident à proximité de s'en occuper elles-mêmes et l'aire de sortie toutes saisons ne peut être séparée de l'écurie que pour des raisons impératives. Le critère des sept boxes aménagés dans l'écurie ne serait dès lors pas pertinent pour déterminer le nombre de chevaux, et par conséquent la surface de l'aire de sortie. Seuls les cinq chevaux présents lors de l'inspection locale - nombre qui serait à la limite de ce qui peut être maîtrisé dans le cadre d'une détention de chevaux à titre de loisirs - auraient dû être pris en considération. En outre, le dossier ne contiendrait pas la justification au fait que l'aire de sortie n'est pas contiguë à l'écurie.
Quoiqu'apparemment pertinentes, ces critiques n'ont pas à être examinées, compte tenu de l'interdiction de la reformatio in pejus par le Tribunal fédéral (<ref-law>).
6.
Dans un dernier grief, les recourants font valoir le principe de proportionnalité. Ils en déduisent que, vu qu'ils ont cru de bonne foi pouvoir se fier à l'autorisation de construire délivrée par la commune, il devrait être renoncé à la remise des lieux en l'état antérieur.
6.1. Lorsqu'une construction déjà réalisée contrevient aux règles légales et ne peut par conséquent être autorisée a posteriori, cela ne signifie pas encore qu'elle ne peut être utilisée ni que l'état antérieur doit nécessairement être rétabli (<ref-ruling> consid. 6 p. 35). Il convient à ce stade d'examiner la situation au regard des principes généraux du droit administratif, en particulier les principes de la proportionnalité et de la protection de la bonne foi. Aussi l'autorité renonce-t-elle à exiger la remise en état lorsque celle-ci ne revêt pas d'intérêt public ou lorsque les dérogations aux règles sont mineures. Il en va de même lorsque le maître de l'ouvrage a pensé de bonne foi faire un usage correct de l'autorisation reçue, pour autant que le maintien de la situation illégale ne contrevienne pas à d'importants intérêts publics (<ref-ruling> consid. 6 p. 35 ; <ref-ruling> consid. 5b p. 303; <ref-ruling> consid. 4 p. 69). Dans ce contexte, la bonne foi de l'administré est un élément qui entre dans le pesée des intérêts (cf. <ref-ruling> consid. 4a p. 245; cf. MOOR/FLÜCKIGER/MARTHENET, Droit administratif vol. I - Les fondements, ch. 6.4.3, p. 933), mais il n'est pas seul décisif, aucun intérêt public ni privé ne devant, de surcroît, imposer que la situation soit rendue conforme au droit ( ZEN-RUFFINEN/GUY-ECABERT, Aménagement du territoire, construction expropriation, n° 997, p. 429).
6.2. En l'espèce, les dérogations à la règle sont importantes puisque le carré de sable est près de cinq fois plus vaste que ce que permettent les dispositions applicables (voire plus encore, si l'on suit les explications données par l'ARE - cf. consid. 5). Les intérêts publics mis en cause par l'installation, à savoir la préservation des surfaces d'assolement et, indirectement, le respect du principe de la séparation du bâti et du non-bâti, revêtent une importance capitale dans le droit fédéral de l'aménagement du territoire. L'esthétique de cette surface et sa visibilité par les tiers ne sont ainsi pas décisifs. Quant au bien-être des chevaux, auquel les recourants se réfèrent, il en est déjà tenu compte dans le cadre de la pesée des intérêts effectuée en application de l'art. 24e al. 3 LAT. Dans de telles circonstances, la bonne foi des constructeurs qui se seraient fiés à la seule autorisation communale - qui est frappée de nullité absolue (cf. <ref-ruling> consid. 3.2.2 p. 28 et les réf.) - ne peut suffire au renoncement de l'ordre de réduire la surface du paddock. En définitive, la constatation, par la cour cantonale, qu'un carré de sable de 252 m2 peut être maintenu constitue déjà, en vertu du principe de proportionnalité, la mesure la moins grave pouvant être opposée aux recourants (cf. <ref-ruling> consid. 4d p. 219 s.; <ref-ruling> consid. 3b p. 28). Cette mesure doit par conséquent être confirmée.
7.
Il résulte de ce qui précède que le recours doit être rejeté aux frais de ses auteurs, qui succombent (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué au mandataire des recourants, à la Municipalité de Cuarny, au Service du développement territorial du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 23 juillet 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
La Greffière : Sidi-Ali