Faits :
A.
A._ est propriétaire de la parcelle n° 4'457 de la commune de Bardonnex, d'une surface de 31'450 m2, située en zone agricole, avec une maison d'une surface au sol de 294 m2 et un abri pour machine de 9 m2. En 2007 et 2008, trois bâtiments, un bassin et un chemin pavé ont été construits sans autorisation, malgré l'intervention de la commune et du Département cantonal de l'aménagement, du logement et de l'énergie (ci-après: le DAEL). Une demande d'autorisation de construire portant sur un manège, un dépôt, un bassin avec bâtiment annexe et un chemin pavé a été déposée afin de régulariser la situation. L'autorisation a été refusée et le département a ordonné la démolition des installations illicites en juin 2009.
Le 6 octobre 2011, B._, agriculteur agissant avec l'accord de A._, a déposé une demande d'autorisation portant sur divers bâtiments à destination maraîchère et horticole (bâtiment d'exploitation, hangar de stockage et poulailler). Le 17 juillet 2012, le DAEL a refusé l'autorisation; les constructions étaient disproportionnées et l'usage agricole n'était pas démontré. Le 6 août 2012, le DAEL a en outre ordonné la remise en état du hangar agricole et du poulailler, et a infligé une amende administrative de 5'000 fr.
B.
A._ et B._ ont recouru en vain contre le refus d'autorisation de construire auprès du Tribunal administratif de première instance (TAPI), puis de la Chambre administrative de la Cour de justice du canton de Genève. Dans un arrêt du 11 mars 2014, cette dernière a retenu que l'ensemble des préavis, fondés sur les documents et compléments fournis par les requérants ainsi que sur une inspection locale, avaient été négatifs. Plusieurs demandes de régularisation avaient été déposées précédemment, et aucune modification notable n'avait été apportée aux bâtiments afin de s'adapter au nouveau projet. La rentabilité de l'exploitation agricole n'avait pas été démontrée, B._ ayant admis qu'il exerçait une activité en parallèle avant de préciser qu'il ne s'agissait que d'un travail saisonnier; le projet d'activité agricole n'avait cessé d'évoluer durant la procédure, ce qui permettait de remettre en question la viabilité de l'entreprise à long terme.
Le recours formé parallèlement par A._ contre l'ordre de remise en état a lui aussi été rejeté par les deux instances cantonales. Dans un second arrêt du 11 mars 2014, la cour cantonale a considéré que la mesure était proportionnée et que l'amende de 5000 fr., pour insoumission à un ordre de démolition, ne portait pas sur les mêmes faits que l'amende prononcée en juin 2009 pour les constructions réalisées sans autorisation. Le montant de l'amende était proportionné.
C.
Par acte du 8 mai 2014, A._ forme un recours en matière de droit public contre l'arrêt cantonal concernant l'ordre de remise en état et l'amende (ce dernier point n'étant pas contesté). Il demande l'annulation de l'arrêt cantonal et de la décision du DAEL du 6 août 2012. Il requiert l'effet suspensif, qui a été accordé par ordonnance du 2 juin 2014, ainsi que la suspension de la procédure jusqu'à droit connu sur le recours concernant l'autorisation de construire.
Dans un second recours en matière de droit public daté du même jour, A._ et B._ demandent l'annulation de l'arrêt cantonal et de la décision du DAEL du 17 juillet 2012, et l'octroi de l'autorisation de construire, subsidiairement le renvoi de la cause à la cour cantonale pour nouvelle décision.
La Chambre administrative persiste dans les considérants et le dispositif de ses deux arrêts. Le DAEL conclut au rejet des recours. L'Office fédéral du développement territorial conclut également au rejet des recours.
Les parties ont renoncé à de nouvelles déterminations.

Considérant en droit :
1.
Les recours portent d'une part sur le refus d'autoriser des transformations et constructions de bâtiments en zone agricole, et d'autre part sur un ordre de remise en état consécutif à ce refus. Il y a donc lieu de joindre les causes et de statuer à leur sujet par un seul arrêt. Les causes ont été instruites parallèlement et, s'il convient de statuer en premier lieu sur le recours relatif à l'autorisation de construire, il ne se justifie pas de suspendre la procédure relative à l'ordre de remise en état et à l'amende administrative.
2.
Dirigés contre deux arrêts de dernière instance cantonale confirmant des décisions rendues dans le domaine du droit public des constructions, les recours sont en principe recevables comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure devant le Tribunal cantonal. Ils sont particulièrement touchés par les arrêts attaqués qui confirment un refus d'autorisation, ainsi qu'un ordre de remise en état. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à leur annulation ou à leur modification, et ont dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont également remplies, de sorte qu'il y a lieu d'entrer en matière et d'examiner en premier lieu le recours relatif au refus d'autorisation de construire (1C_235/2014).
3.
Invoquant les art. 16a et 22 LAT ainsi que 34 OAT, les recourants relèvent qu'il existe sur la parcelle une exploitation agricole de 100 ares de légumes et de fruits cultivés selon les principes de l'agriculture biologique. Au bénéfice d'un bail à ferme de quinze ans renouvelable pour six ans et d'une formation d'agriculteur, le recourant B._ livrerait directement sa production aux restaurateurs ou par paniers à des particuliers. Il élèverait en outre des vaches et des veaux - activité dont il n'aurait pas été tenu compte dans le préavis de la Direction générale de l'agriculture -, cultiverait des fleurs et vendrait du bois provenant du domaine. Les constructions serviraient ainsi au stockage, au lavage, au tri et au conditionnement de la production, à l'entreposage du matériel et des machines; une étable serait nécessaire, de même qu'un bureau pour la gestion. Les constructions serviraient ainsi à une exploitation tributaire du sol et s'intégreraient parfaitement dans le domaine. La cour cantonale ne pouvait mettre en doute la viabilité de l'exploitation dès lors que le recourant B._ - qui a investi une partie de sa prévoyance professionnelle et a conclu un bail de quinze ans - en tirait un revenu mensuel de 5'000 fr. peu de temps après le début de son activité. La vente directe de produits biologiques connaitrait une forte demande dans le canton de Genève.
3.1. L'art. 16a LAT fixe les conditions générales auxquelles des constructions et des installations peuvent être considérées comme conformes à l'affectation de la zone agricole au sens de l'art. 22 al. 2 let. a LAT. L'<ref-law> précise ces conditions, en disposant en particulier que l'autorisation de construire ne peut être délivrée que si la construction ou l'installation est nécessaire à l'exploitation (<ref-law>), si aucun intérêt prépondérant ne s'oppose à leur implantation à l'endroit prévu (let. b) et s'il est prévisible que l'exploitation pourra subsister à long terme (let. c). En exigeant que la construction soit nécessaire à l'exploitation en cause, l'<ref-law> (qui reprend la condition posée à l'art. 16a al. 1 LAT) entend limiter les constructions nouvelles à celles qui sont réellement indispensables à l'exploitation agricole ou viticole afin de garantir que la zone agricole demeure une zone non constructible. La nécessité de nouvelles constructions s'apprécie en fonction de critères objectifs. Elle dépend notamment de la surface cultivée, du genre de cultures et de production (dépendante ou indépendante du sol), ainsi que de la structure, de la taille et des nécessités de l'exploitation (arrêts 1C_22/2012 du 30 août 2012; 1C_27/2008 du 25 juin 2008 consid. 2.3). En définitive, les constructions doivent être adaptées, notamment par leur importance et leur implantation, aux besoins objectifs de l'exploitation en cause (<ref-ruling> consid. 4.2 p. 374; <ref-ruling> consid. 3.2 p. 415).
3.2. La condition de la subsistance à long terme a pour but d'éviter que des autorisations ne soient délivrées inconsidérément en zone non constructible, pour des constructions et installations qui seront rapidement mises hors service en cas d'abandon de l'exploitation agricole. La possibilité de construire de nouveaux bâtiments doit être réservée aux domaines agricoles rentables et dont le maintien semble assuré à long terme. Il faut donc, outre le professionnalisme et le savoir-faire spécialisé que cette activité exige, l'engagement durable, structuré et rentable de capitaux et de forces de travail, et cela dans une mesure économiquement significative. La réalisation de cette condition doit faire l'objet d'un examen concret et précis dans chaque cas particulier, en tenant compte de la structure et de l'importance de l'exploitation ainsi que des circonstances locales (arrêt 1C_535/2008 du 26 mars 2009 consid. 4.1 et les références), si possible par l'établissement d'un plan de gestion (<ref-ruling> consid. 5 p. 378; arrêt 1C_157/2009 du 26 novembre 2009 consid. 3, in ZBl 112/2011, p. 217).
3.3. Avec sa demande d'autorisation de construire, le recourant B._ a exposé son projet qui consistait dans une unité de production de légumes de saison en culture biologique, d'oeufs (une douzaine de poules au maximum) et de fleurs à couper, produits proposés à la vente directe ou livrés à des particuliers. Il envisageait également du "gardiennage de plantes de type méditerranéen". Le requérant expliquait avoir besoin du bâtiment principal pour laver et conditionner les légumes, oeufs et fleurs, de la partie haute du bâtiment pour le stockage de plantes en hiver, d'un garage pour tracteur, véhicule de livraison et réparations, d'une surface de bureaux pour la facturation et l'administration, d'une salle d'eau et d'un hangar pour les machines agricoles, ainsi que du poulailler.
Le 20 février 2012, le requérant a produit un budget pour 2012, prévoyant un résultat d'exploitation de 50'000 fr. environ avec une légère baisse pour les années 2013 et 2014 et une augmentation en 2015. Le 2 septembre 2012, il a établi un nouveau document faisant état de résultats à la baisse (33'000 fr. pour 2012, 51'000 fr. pour 2015). Devant les doutes émis, notamment par la Direction générale de l'agriculture, sur la viabilité d'une telle exploitation agricole, le recourant a indiqué devant le TAPI qu'il réalisait un revenu mensuel moyen de 5'000 fr. et qu'il travaillait à mi-temps pour un paysagiste, activité qu'il a ensuite déclaré, dans son recours cantonal, avoir abandonnée, précisant qu'il ne l'exerçait que durant la période hivernale; il est aussi apparu que le bâtiment principal abritait quatre chevaux et deux vaches, ainsi que deux veaux, lesquels ne figuraient pas dans les plans d'exploitation précités. Dans son écriture du 14 juin 2013, le recourant a encore indiqué qu'il avait augmenté le nombre de poules, que des canards étaient aussi élevés et qu'une activité de coupe de bois était également développée. Enfin, le 3 septembre puis le 16 octobre 2013, le recourant a indiqué qu'il avait obtenu la certification "Bourgeon" et acquis quatre nouvelles vaches; il avait en outre retiré une partie de son deuxième pilier pour l'investir dans son exploitation.
Les seuls documents censés démontrer la viabilité à long terme de l'exploitation sont ainsi les budgets établis en février 2012, et revus à la baisse en septembre 2012, documents qui ne tiennent pas compte des changements intervenus ultérieurement. Au stade actuel de la procédure, le recourant se contente encore de généralités sur la nature de son exploitation et la demande en produits biologiques. Il affirme que ses revenus mensuels étaient de 5'000 fr. au début de son activité. On ignore toutefois les résultats effectifs de l'exploitation pour les années 2012 à 2014.
Il apparaît en définitive que la demande d'autorisation de construire tend à la régularisation de constructions déjà réalisées sans autorisation et qui ont fait l'objet d'ordres de remise en état non exécutés. Compte tenu des nombreux changements dans les allégations du recourant, celui-ci semble avoir tenté d'adapter les besoins de son exploitation aux bâtiments existants, plutôt que l'inverse qui est exigé par l'<ref-law>. Sur le vu de ce qui précède, le recourant ne démontre pas que les conditions posées par cette disposition seraient réalisées s'agissant de la viabilité à long terme (let. c) de l'exploitation et de la nécessité des constructions (let. a). Il ressort au demeurant du dossier que ces constructions ne répondent pas non plus aux exigences de l'<ref-law>: selon le préavis du Service des monuments et des sites du 27 février 2012, établi sur la base d'un reportage photographique, les constructions litigieuses auraient un impact visuel négatif par rapport au parc arborisé et à la maison de maître protégée. Le refus d'autorisation confirmé par la cour cantonale ne viole dès lors pas le droit fédéral.
Quant aux dispositions de droit cantonal invoquées par les recourants (art. 20 LALAT, qui reprend les exigences de l'<ref-law>; art. 5 LCI, qui impose la délivrance d'une autorisation lorsque les conditions légales sont réunies), elles n'ont aucune portée propre, de même que le grief d'arbitraire soulevé à leur propos. Le recours 1C_235/2014 doit ainsi être rejeté.
4.
Dans son recours dirigé contre l'ordre de remise en état, le recourant A._ se plaint d'une application arbitraire des art. 129 et 130 LCI et invoque la garantie de la propriété (art. 26 Cst.). Pour l'essentiel, son argumentation consiste à affirmer que les constructions litigieuses devraient être autorisées, ce qui n'est pas le cas comme cela est constaté ci-dessus.
Pour le surplus, le recourant allègue simplement que les constructions, en parfait état, ne présenteraient aucun danger pour le public. L'arrêt attaqué n'est toutefois pas fondé sur l'existence d'un tel danger, mais sur l'intérêt public lié au respect de la loi. La jurisprudence constante considère en effet qu'un ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne peut être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35; <ref-ruling> consid. 3a/bb p. 252). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224).
Le recours n'invoque aucune circonstance qui pourrait conduire l'autorité à renoncer à ordonner une remise en état: les inconvénients qui en résultent pour le propriétaire doivent être mis en balance avec l'intérêt public majeur que constituent la préservation des zones agricoles et la distinction fondamentale entre espace bâti et non bâti. Quant à l'amende administrative, qui fait elle aussi l'objet de l'arrêt attaqué, elle n'est pas contestée par le recourant.
Le recours doit dès lors être lui aussi rejeté.
5.
Sur le vu de ce qui précède, les deux recours sont rejetés. Les frais judiciaires sont mis à la charge des recourants, conformément à l'<ref-law>.

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 1C_233/2014 et 1C_235/2014 sont jointes.
2.
Les recours sont rejetés.
3.
Les frais judiciaires, arrêtés à 2'000 fr. (cause 1C_233/2014) et à 3'000 fr. (cause 1C_235/2014), sont mis à la charge des recourants.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Département de l'aménagement, du logement et de l'énergie et à la Cour de justice de la République et canton de Genève, Chambre administrative, 1 ère section, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 23 février 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Kurz