Faits: A. A._ et B._ ont acquis en 2005 la parcelle n° 14 du cadastre de la commune des Tavernes, en zone agricole, sur laquelle est érigée une ferme. En 1971, celle-ci avait subi diverses transformations afin d'être exploitée comme porcherie industrielle jusqu'en 1993. A partir de 1997, le bâtiment avait été loué comme habitation, une pièce étant alors utilisée comme bureau. Après avoir acquis l'immeuble, A._ y a installé son entreprise de charpente qui emploie 27 personnes. Il a effectué de nombreux aménagements: la toiture a été refaite et prolongée; la dalle sur rez a été changée et le pont de grange bétonné; un bureau a été aménagé dans une pièce de l'étage. Une plateforme extérieure a été aménagée par remblayage, afin de servir de place de circulation, de stationnement et de dépôt de matériaux. L'appentis au-dessus de la fosse à purin a été agrandi et des machines ont été installées dans la grange. Ces travaux n'ont pas fait l'objet d'une demande d'autorisation. Le 28 novembre 2005, le Service du développement territorial du canton de Vaud (SDT) fit savoir que les transformations effectuées étaient incompatibles avec la zone agricole. Le 22 février 2007, il a fixé un délai au 31 mars 2007 pour faire savoir où l'entreprise serait transférée. Une rencontre sur place a eu lieu le 22 juin 2007, au cours de laquelle les anciens et nouveaux plans ont été remis au SDT. Par décision du 28 avril 2009, le SDT a imparti aux propriétaires un délai au 31 septembre 2009 pour cesser toute activité de l'entreprise et transférer cette dernière dans une zone appropriée. Un plan actualisé mentionnant tous les locaux en rapport avec l'entreprise, devait être produit au 15 juin 2009. Les constructions et installations ne pouvant être régularisées devaient être détruites au 31 décembre 2009. Les art. 37a LAT et 43 OAT ne permettaient pas le maintien en zone agricole d'une nouvelle entreprise. B. Par arrêt du 25 février 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois a confirmé cette décision, et prolongé les délais au 31 août (cessation d'activité) et 30 avril 2010 (production du plan). L'exploitation industrielle dans la partie rurale du bâtiment avait cessé en 1993 et les locaux étaient restés désaffectés jusqu'en 2005. Faute d'un usage commercial continu, une dérogation fondée sur les art. 37a LAT et 43 OAT n'était pas possible. Compte tenu du changement complet d'affectation opéré en 2005, l'art. 24c LAT n'était pas non plus applicable. C. Par acte du 29 mars 2010, A._ et B._ forment un recours en matière de droit public assorti d'une demande d'effet suspensif. Ils demandent l'annulation de l'arrêt cantonal. Le Tribunal cantonal se réfère à son arrêt et conclut au rejet du recours. La Municipalité des Tavernes (sans son syndic, qui se trouve être le recourant) s'est prononcée dans le sens de l'admission du recours. Le SDT n'a pas répondu au recours dans le délai imparti et a requis en vain - car tardivement - une prolongation de celui-ci. L'Office fédéral du développement territorial a renoncé à se prononcer. La demande d'effet suspensif a été admise par ordonnance du 4 mai 2010.