Faits : A. Les époux A.A._ et B.A._ sont propriétaires depuis le 19 novembre 2002 de la parcelle n° 575 de la commune de Cuarny (VD), colloquée en zone agricole selon le plan général d'affectation approuvé par le Conseil d'Etat le 19 février 1993. D'une surface de 31'892 m2, ce bien-fonds est cadastré en nature de pré-champ pour 28'744 m2et de forêt pour 2'732 m2. Il supporte une habitation autorisée en 1968 et une écurie autorisée en 1966 comportant sept boxes à chevaux, un poulailler, un clapier et un fenil. En 1966 apparemment, le précédent propriétaire de la parcelle n° 575 a modifié et terrassé des terrains anciennement en pente pour y réaliser un "rond de course" utilisé pour l'entraînement de ses chevaux de course. Cartographiée sur un plan de mensuration cadastrale suisse de 1980 et sur un "plan des périmètres" réalisé le 7 octobre 1991 dans le cadre d'un remaniement parcellaire, cette installation n'apparaît toutefois ni sur une photographie aérienne de 1968 ni sur une photographie aérienne réalisée en 1995. Le 20 mars 2002, A.A._ a sollicité de la Municipalité de Cuarny l'autorisation de construire un carré de sable de 25 x 50 m pour ses chevaux. Par décision du 3 avril 2002, la municipalité a autorisé l'installation précitée. Outre qu'il est entièrement colloqué en zone agricole, ce paddock est pour moitié environ situé en surface d'assolement de qualité 1 ("très bon" à "assez médiocre"). B. Après avoir constaté en 2012 l'existence de ce paddock, le Service cantonal du développement territorial (SDT) a ordonné, par décision du 18 mars 2014, la suppression du carré de sable, l'évacuation des matériaux et la remise du terrain en son état antérieur, seule une aire de sortie directement attenante aux écuries d'une surface de 202 m2 pouvant être autorisée. Saisie d'un recours des propriétaires contre cette décision, la Cour de droit administratif et public du Tribunal cantonal vaudois l'a réformée en ce sens que la surface du paddock doit être réduite à 252 m2, la décision étant confirmée pour le surplus. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que la réalisation du carré de sable est autorisée, subsidiairement, que le carré de sable doit être réduit à une surface de 800 m2. Plus subsidiairement encore, les recourants concluent à l'annulation de l'arrêt cantonal, respectivement à son annulation avec renvoi de la cause pour nouvelle décision dans le sens des considérants. La cour cantonale se réfère aux considérants de son arrêt. Le SDT dépose ses observations et se réfère à sa décision. Invité à se déterminer, l'Office fédéral du développement territorial (ARE) constate que la prise en considération de sept chevaux pour fixer la surface admissible du paddock excède ce que prévoient les règles sur la détention d'animaux à titre de loisir. Il faudrait par ailleurs examiner si l'aire de sortie peut être aménagée sur un terrain directement contigu à l'écurie. La commune de Cuarny dépose elle aussi des observations. Les recourants répliquent et persistent dans leurs conclusions. Par ordonnance du 15 janvier 2015, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.