Faits : A. A._ est propriétaire de la parcelle n° 4'457 de la commune de Bardonnex, d'une surface de 31'450 m2, située en zone agricole, avec une maison d'une surface au sol de 294 m2 et un abri pour machine de 9 m2. En 2007 et 2008, trois bâtiments, un bassin et un chemin pavé ont été construits sans autorisation, malgré l'intervention de la commune et du Département cantonal de l'aménagement, du logement et de l'énergie (ci-après: le DAEL). Une demande d'autorisation de construire portant sur un manège, un dépôt, un bassin avec bâtiment annexe et un chemin pavé a été déposée afin de régulariser la situation. L'autorisation a été refusée et le département a ordonné la démolition des installations illicites en juin 2009. Le 6 octobre 2011, B._, agriculteur agissant avec l'accord de A._, a déposé une demande d'autorisation portant sur divers bâtiments à destination maraîchère et horticole (bâtiment d'exploitation, hangar de stockage et poulailler). Le 17 juillet 2012, le DAEL a refusé l'autorisation; les constructions étaient disproportionnées et l'usage agricole n'était pas démontré. Le 6 août 2012, le DAEL a en outre ordonné la remise en état du hangar agricole et du poulailler, et a infligé une amende administrative de 5'000 fr. B. A._ et B._ ont recouru en vain contre le refus d'autorisation de construire auprès du Tribunal administratif de première instance (TAPI), puis de la Chambre administrative de la Cour de justice du canton de Genève. Dans un arrêt du 11 mars 2014, cette dernière a retenu que l'ensemble des préavis, fondés sur les documents et compléments fournis par les requérants ainsi que sur une inspection locale, avaient été négatifs. Plusieurs demandes de régularisation avaient été déposées précédemment, et aucune modification notable n'avait été apportée aux bâtiments afin de s'adapter au nouveau projet. La rentabilité de l'exploitation agricole n'avait pas été démontrée, B._ ayant admis qu'il exerçait une activité en parallèle avant de préciser qu'il ne s'agissait que d'un travail saisonnier; le projet d'activité agricole n'avait cessé d'évoluer durant la procédure, ce qui permettait de remettre en question la viabilité de l'entreprise à long terme. Le recours formé parallèlement par A._ contre l'ordre de remise en état a lui aussi été rejeté par les deux instances cantonales. Dans un second arrêt du 11 mars 2014, la cour cantonale a considéré que la mesure était proportionnée et que l'amende de 5000 fr., pour insoumission à un ordre de démolition, ne portait pas sur les mêmes faits que l'amende prononcée en juin 2009 pour les constructions réalisées sans autorisation. Le montant de l'amende était proportionné. C. Par acte du 8 mai 2014, A._ forme un recours en matière de droit public contre l'arrêt cantonal concernant l'ordre de remise en état et l'amende (ce dernier point n'étant pas contesté). Il demande l'annulation de l'arrêt cantonal et de la décision du DAEL du 6 août 2012. Il requiert l'effet suspensif, qui a été accordé par ordonnance du 2 juin 2014, ainsi que la suspension de la procédure jusqu'à droit connu sur le recours concernant l'autorisation de construire. Dans un second recours en matière de droit public daté du même jour, A._ et B._ demandent l'annulation de l'arrêt cantonal et de la décision du DAEL du 17 juillet 2012, et l'octroi de l'autorisation de construire, subsidiairement le renvoi de la cause à la cour cantonale pour nouvelle décision. La Chambre administrative persiste dans les considérants et le dispositif de ses deux arrêts. Le DAEL conclut au rejet des recours. L'Office fédéral du développement territorial conclut également au rejet des recours. Les parties ont renoncé à de nouvelles déterminations.