Faits :
A.
A.A._ et B.A._ sont copropriétaires de la parcelle n° 584 du registre foncier de la commune de Cuarny, située en zone agricole. Outre un immeuble d'habitation de 212 m2 comprenant un rural (transformé en 1996-1997), il s'y trouve une annexe de 50 m2 faisant à l'origine office d'étable, de remise et de bûcher, avec une chambre d'employé de ferme.
Après avoir constaté que des travaux avaient été réalisés sans autorisation cantonale, le Service cantonal du développement territorial (SDT) a requis divers renseignements. Par décision du 13 juillet 2015, considérant que l'activité d'élevage de chevaux exercée à titre accessoire par les propriétaires n'était pas conforme à l'affectation de la zone agricole, il a ordonné la suppression d'un paddock aménagé et d'un abri pour chevaux et la régularisation d'une cabane en bois. S'agissant de l'annexe, il a toléré les aménagements suivants, en application du principe de la proportionnalité: balcon en bois en façade sud-est; terrasse nord pavée, escalier extérieur, isolation posée en toiture en doublage des murs existants; différents revêtements de sol. En revanche, le SDT a considéré que cette annexe ne devait plus être utilisée comme logement permanent et devait retrouver son affectation d'origine; seule une chambre d'appoint isolée pouvait être maintenue. Les mesures de remise en état suivantes étaient ordonnées: suppression et démontage de tous les meubles de cuisine, bouchage des écoulements et des conduites; suppression et démontage des installations sanitaires (dépose du WC et du lavabo; bouchage des écoulements); construction d'une cloison entre la cuisine (ancien bûcher) et le séjour (ancienne chambre d'employé de ferme). L'accès à la pièce correspondant à l'ancien bûcher devrait se faire par la pièce correspondant à l'ancienne chambre d'employé puis par le balcon;en façade sud-est, pour l'actuel séjour et l'actuelle cuisine, remplacement des portes-fenêtres par des portes pleines en bois typiques d'un rural; en façade nord-ouest, remplacement de l'ouverture vitrée par une porte pleine en bois; suppression du velux sur le pan nord-ouest du toit, pause d'un lattage, d'un contrelattage et de tuiles; la mezzanine ne devait plus être accessible que par une échelle; tout escalier y permettant l'accès devait être supprimé; démontage et évacuation du couvert en métal servant d'abri à la terrasse extérieure nord-ouest. Un délai était fixé au 29 janvier 2016 pour procéder à cette remise en état.
B.
Par arrêt du 25 septembre 2017, la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) a rejeté le recours formé par les propriétaires. La remise en état du paddock et de l'abri pour chevaux était justifiée, faute d'une exploitation agricole au sens des art. 16a et 16a bis LAT, les installations ne pouvant en outre être mises au bénéfice de l'art. 24e LAT. Lors de son acquisition par les recourants, le bâtiment annexe était à l'abandon depuis une dizaine d'années. Au moment des travaux, en 2003, il se trouvait en mauvais état et ne pouvait plus être utilisé conformément à sa destination initiale. Les travaux effectués ne pouvaient être régularisés en application des art. 24c LAT et 42 OAT. Les recourants ne pouvaient soutenir qu'il s'agissait de travaux d'entretien non soumis à l'autorisation du SDT. Ils connaissaient la nécessité d'une telle autorisation puisqu'ils avaient dû en obtenir une pour la transformation du bâtiment principal en 1997. L'ordre de remise en état ne violait ni le principe de la bonne foi, ni celui de la proportionnalité.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal, de leur donner acte du fait qu'ils ont donné suite à l'ordre de remise en état en ce qui concerne le paddock et ses aménagements, et de leur accorder l'autorisation relative aux autres travaux; subsidiairement, ils concluent au renvoi de la cause à la CDAP pour nouvelle décision. Ils demandent l'effet suspensif, qui a été accordé par ordonnance du 15 novembre 2017.
La cour cantonale renonce à se déterminer et se réfère à son arrêt. Le SDT conclut au rejet du recours. La Municipalité de Cuarny déclare "soutenir la bonne foi des recourants". Invité à se déterminer, l'Office fédéral du développement territorial ARE estime que l'arrêt attaqué ne prête pas le flanc à la critique et renonce à de plus amples observations.
Dans leurs dernières écritures, les recourants et le SDT persistent dans leurs conclusions respectives.
Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
1.1. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que destinataires de l'ordre de remise en état concernant leur propriété, ils peuvent se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour recourir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité sont au surplus réunies, si bien qu'il y a lieu d'entrer en matière.
1.2. Le recours ne porte que sur la remise en état de l'annexe (bâtiment ECA n° 101). Les recourants estiment avoir satisfait à l'ordre de remise en état en ce qui concerne le paddock et des aménagements, ainsi que l'abri pour chevaux. C'est toutefois à l'autorité cantonale et non au Tribunal fédéral qu'il appartient de vérifier l'exécution de l'ordre de remise en état ou de donner acte aux recourants qu'ils ont sur ce point satisfait à la décision attaquée.
2.
Les recourants se plaignent d'une violation de l'art. 24c al. 1 LAT. Selon eux, seul un bâtiment à l'état de ruine ne pourrait être mis au bénéfice de cette disposition. L'arrêt cantonal se fonde sur le mauvais état de la charpente, du balcon, de l'escalier, des ouvertures, ainsi que sur les travaux réalisés sur les façades et surfaces, alors que les structures porteuses du bâtiment n'étaient ni endommagées, ni en voie d'effondrement. L'autorisation municipale portait sur la symétrie de la toiture, mais ne faisait pas allusion à un mauvais état. A tout le moins, les éléments essentiels du bâtiment étaient en majeure partie intacts et la qualification de ruine largement exagérée. Les travaux litigieux étaient justifiés par les réglementations cantonale et fédérale sur le logement du personnel et la surface habitable. La cour cantonale aurait en outre omis d'examiner si les autres conditions posées à l'art. 24c LAT et 42 OAT étaient réunies, s'agissant de rénovation, de transformation ou d'agrandissement mesuré. Ils estiment que l'identité de la construction serait respectée, sous réserve des critères quantitatifs à établir.
2.1. Selon l'art. 24c al. 1 LAT, hors de la zone à bâtir, les constructions et installations qui peuvent être utilisées conformément à leur destination mais qui ne sont plus conformes à l'affectation de la zone bénéficient en principe de la garantie de la situation acquise. L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement (al. 2). Il en va de même des bâtiments d'habitation agricoles et des bâtiments d'exploitation agricole qui leur sont contigus et ont été érigés ou transformés légalement avant l'attribution du bien-fonds à un territoire non constructible au sens du droit fédéral (al. 3). Aux termes de l'art. 42 al. 1 OAT, une transformation est considérée comme partielle et un agrandissement est considéré comme mesuré lorsque l'identité de la construction ou de l'installation et de ses abords est respectée pour l'essentiel, sous réserve des améliorations d'ordre esthétique. La question de savoir si l'identité est pour l'essentiel respectée doit être examinée en fonction de l'ensemble des circonstances. Tel est le cas lorsque la modification projetée sauvegarde dans ses traits essentiels les dimensions ainsi que l'apparence extérieure du bâtiment et qu'elle n'entraîne pas d'effets nouveaux notables sur l'affectation du sol, l'équipement et l'environnement. La transformation doit être d'importance réduite par rapport à l'état existant de l'ouvrage (ATF 127 II 215 consid. 3a p. 218 s., 123 II 256 consid. 4 p. 261 et les arrêts cités). Elle doit en particulier respecter les limites chiffrées fixées par l'art. 42 al. 3 OAT.
La protection de la situation acquise instituée par ces dispositions ne s'étend pas aux bâtiments en ruine, inutilisables et prêts à s'écrouler; il ne faut en effet pas que de tels bâtiments puissent être transformés en constructions nouvelles. La garantie de la propriété ne confère au surplus aucun droit à réutiliser à des fins de construction un emplacement où ont déjà été érigés des ouvrages ou à conserver au-delà de sa durée de vie un ouvrage convenablement entretenu. En effet, pour qu'un bâtiment d'habitation puisse être utilisé conformément à sa destination, il faut, entre autres, que les structures porteuses, les sols et le toit soient en majeure partie intacts (arrêt 1C_215/2012 du 30 octobre 2012 consid 2.1).
2.2. L'arrêt attaqué retient que le bâtiment (désigné comme "four" dans le recensement cantonal de 1987) servait à l'origine d'étable avec une remise, un bûcher et un four, comportant une chambre d'employé. Des toilettes sèches se trouvaient à l'extérieur du bâtiment. Manifestement, il n'était pas destiné à l'habitation permanente, de sorte que les travaux réalisés consacrent en réalité un changement d'affectation. Par ailleurs, le bâtiment se trouvait à l'abandon depuis une dizaine d'années lors de l'acquisition par les recourants en 1996; les travaux litigieux n'ont été entrepris qu'en 2003. Ce manque d'entretien est dû à l'absence de moyens des précédents propriétaires ainsi qu'à la volonté des recourants de rénover en premier lieu le bâtiment d'habitation. Selon les indications données en janvier 2013 au SDT par les recourants eux-mêmes, la charpente était en très mauvais état et risquait de s'effondrer; le balcon était lui aussi en voie de délabrement; l'escalier était un " bricolage dangereux " et la plupart des ouvertures n'avaient ni portes ni fenêtres. Sans qu'il y ait à s'interroger sur la qualification de ruine retenue par l'instance précédente, il ressort clairement de cette description que le bâtiment n'était en tout cas pas utilisable comme habitation permanente dans son état avant travaux. Les recourants ne sauraient en particulier prétendre que la réfection totale de la toiture était uniquement destinée à rétablir la symétrie.
L'arrêt attaqué n'est dès lors pas critiquable lorsqu'il considère que les conditions d'application de l'art. 24c al. 1 LAT n'étaient pas réunies, et la cour cantonale n'avait donc pas à s'interroger sur le respect des autres conditions posées aux art. 24c LAT et 42 OAT.
3.
Invoquant la protection de la bonne foi (art. 9 Cst.), les recourants affirment qu'ils ignoraient que les travaux entrepris excédaient les limites de l'entretien et qu'ils nécessitaient une autorisation cantonale. Ils estiment que toutes les conditions posées pour bénéficier de la protection de leur bonne foi seraient réunies puisqu'ils bénéficiaient d'une autorisation de la commune et ne pouvaient se rendre compte de l'incompétence de cette dernière en la matière puisqu'ils n'étaient pas juristes ou spécialistes de l'immobilier et n'avaient pas à prêter une attention particulière à l'autorisation cantonale délivrée en 1996 pour le bâtiment principal. La Municipalité elle-même avait reconnu qu'elle n'était pas au clair sur ses propres compétences; elle aurait dû, conformément au droit cantonal de procédure administrative, transmettre la demande de permis à l'autorité cantonale compétente et les recourants n'auraient pas à pâtir de ce manquement.
3.1. Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le droit à la protection de la bonne foi préserve la confiance légitime que le citoyen met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration. Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore que l'administré se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (ATF 137 I 69 consid. 2.5.1 p. 72; 131 II 627 consid. 6.1 p. 637; 129 I 161 consid. 4.1 p. 170).
3.2. En l'occurrence, les recourants ont bénéficié en 1997 d'une autorisation pour la transformation du bâtiment principal. Il ressort clairement, notamment de la synthèse CAMAC du 29 janvier 1997, que l'autorité cantonale a accordé l'autorisation spéciale requise pour un projet hors de la zone à bâtir. On peut dès lors considérer que les recourants devaient connaître cette exigence. Quoi qu'il en soit, la cour cantonale relève, sans être contredite par les recourants, que les éléments qui auraient été autorisés par la commune sont précisément ceux dont le SDT a toléré le maintien en application du principe de proportionnalité. Les éléments visés par l'ordre de remise en état n'étaient en revanche au bénéfice d'aucune autorisation. Les recourants ne sauraient dès lors prétendre à leur maintien en application du principe de la bonne foi.
4.
Les recourants se plaignent enfin d'une atteinte disproportionnée à leur droit de propriété (art. 26 al. 1 et 36 al. 3 Cst.) Ils estiment que leur intérêt au maintien des travaux réalisés (d'un coût de 70'000 fr.) serait prépondérant dès lors que le bâtiment existait déjà avant les travaux, qu'il respectait le principe de concentration des constructions et comprenait déjà une chambre d'appoint indépendante: il n'y a pas d'atteinte aux surfaces d'assolement et les travaux n'ont pas été réalisés sans autorisation.
4.1. Lorsque des constructions illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. Le principe de la séparation de l'espace bâti et non bâti, qui préserve différents intérêts publics, est de rang constitutionnel; il fait partie intégrante de la notion d'utilisation mesurée du sol de l'art. 75 al. 1 Cst. (cf. arrêt 1C_482/2017 du 26 février 2018 consid. 2.2 et les références citées). Cette séparation doit par conséquent, en dehors des exceptions prévues par la loi, demeurer d'application stricte (ATF 132 II 21 consid. 6.4 p. 40; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c publié in ZBI 2002 p. 364). Si des constructions illégales, contraires au droit de l'aménagement du territoire, sont indéfiniment tolérées en dehors de la zone constructible, le principe de la séparation du bâti et du non-bâti est remis en question et un comportement contraire au droit s'en trouve récompensé (arrêt 1C_61/2018 du 13 août 2018 consid. 3.1). La remise en état permet aussi la limitation du nombre et des dimensions des constructions en zone agricole (cf. ATF 132 II 21 consid. 6.4 p. 40; 111 Ib 213 consid. 6b p. 225) ainsi que le respect du principe de l'égalité devant la loi (arrêt 1C_276/2016 du 2 juin 2017 consid. 3.3).
4.2. En l'occurrence, aucun des motifs invoqués par les recourants ne permet de renoncer à une remise en état. L'affectation voulue par les recourants est manifestement contraire aux principes d'aménagement du territoire, de sorte que l'intervention illicite sur le bâtiment ne constitue pas une dérogation mineure aux dispositions légales applicables. Le SDT n'a d'ailleurs pas méconnu le principe de la proportionnalité puisqu'il a toléré une bonne partie des modifications apportées, en n'exigeant que la suppression de celles qui permettraient d'utiliser le bâtiment comme un logement indépendant. Le grief apparaît ainsi manifestement mal fondé.
5.
Sur le vu de ce qui précède, le recours est rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge des recourants qui succombent. Il n'y pas besoin de fixer un nouveau délai de remise en état dès lors que l'arrêt cantonal renvoie déjà la cause au SDT pour ce faire.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants et du Service du développement territorial du canton de Vaud, à la Municipalité de Cuarny, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 16 novembre 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
Le Greffier : Kurz