Faits :
A.
A._ est propriétaire de la parcelle no 2'069 de la Commune de Cartigny, dans le canton de Genève. Cette parcelle est située en partie en zone agricole et en partie en zone de développement 4B protégée. Elle est comprise dans le périmètre du plan de site no 29'479 du hameau de la Petite-Grave, adopté par le Conseil d'Etat de la République et canton de Genève le 10 mars 2010.
Il ressort du registre foncier que quatre bâtiments sont érigés sur cette parcelle: un bâtiment no 229 de moins de 12 m2; une habitation no 3 d'un logement de 119 m2, une porcherie no 331 de 151 m2; des bureaux no 701 de 258 m2.
B.
Le 28 juin 2018, A._ a demandé le désassujettissement (au sens de la LDFR; RS 211.412.11) de sa parcelle, indiquant que les bâtiments n'étaient plus exploités, que celle-ci allait être vendue et que le futur acquéreur transformerait le bâtiment n° 3 et démolirait les bâtiments nos 331 et 701, conformément au plan de site.
Le 12 février 2019, un inspecteur de l'Office des autorisations de construire du département cantonal du territoire (ci-après: DT) s'est rendu sur place en présence du prénommé. Le 7 juin 2019, le DT a indiqué que vingt-trois constructions se situaient sur la parcelle en plus des quatre bâtiments cadastrés.
Par décision du 6 septembre 2019, le DT a ordonné à A._ de rétablir une situation conforme au droit en procédant à la remise en état des constructions et installations en infraction, soit notamment les objets nos 331 et 701, à savoir deux porcheries devant retrouver leur affectation d'origine ou être démolies, ainsi que l'objet A, un couvert à démolir en raison de son affectation contraire à la zone agricole. Un délai de 60 jours était imparti pour la réalisation des travaux; une requête de régularisation pouvait, quant à elle, être déposée dans un délai de trente jours.
C.
Le 8 octobre 2019, A._ a recouru contre cette décision auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: TAPI) en tant qu'elle concernait notamment les objets nos 331 et 701 et l'objet A. Par jugement du 23 septembre 2020, le TAPI a partiellement admis le recours, la démolition du bâtiment no 701 ne pouvant être exigée.
Le 30 octobre 2020, A._ s'est pourvu contre ce jugement devant la Chambre administrative de la Cour de justice de la République et canton de Genève concluant à son annulation en tant qu'il ordonnait la démolition des bâtiments nos 331 et A. Par arrêt du 16 mars 2021, la Cour de justice a rejeté le recours. Les bâtiments en cause avaient été construits il y a plus de 30 ans; il en allait de même de leur changement d'affectation. Les importants travaux de toiture entrepris sur ces bâtiments ne relevaient cependant pas de l'entretien et avaient en conséquence fait courir un nouveau délai de prescription, si bien que la prescription trentenaire du droit d'exiger la remise en état n'était pas acquise. La remise en état répondait par ailleurs à l'intérêt public à la préservation des terres agricoles et au rétablissement d'une situation conforme au droit.
D.
Agissant le 19 avril 2021 par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 16 mars 2021 ainsi que la décision du DT du 6 septembre 2019 dans la mesure où elle ordonne la démolition des bâtiments nos 331 et A et de dire et constater que ces derniers peuvent subsister dans leur affectation actuelle. Il requiert également l'octroi de l'effet suspensif; celui-ci a été accordé par ordonnance du 29 avril 2021.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Le DT adhère aux développements de l'arrêt attaqué; la question de la nature des travaux pourrait cependant demeurer indécise, la jurisprudence récente ayant précisé que le délai de 30 ans ne s'appliquait pas en zone agricole; le département cantonal conclut sur cette base au rejet du recours. Egalement invité à se déterminer et se fondant lui aussi sur cette dernière précision jurisprudentielle, l'Office fédéral du développement territorial ARE propose le rejet du recours. Invité à déposer d'éventuelles observations, le recourant n'a pas répliqué.
Considérant en droit :
1.
En tant qu'il s'en prend à l'arrêt cantonal du 16 mars 2021, le recours est dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de la police des constructions (art. 82 let. a LTF). Dans cette mesure, il est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant a pris part à la procédure de recours devant la Cour de justice. Il est particulièrement touché par l'arrêt attaqué, qui confirme l'ordre de remettre les lieux en état. Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Il jouit dès lors de la qualité pour recourir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité étant au surplus réunies, il convient d'entrer en matière.
2.
Il est établi que tant la construction que le changement d'affectation des bâtiments nos 331 et A sont intervenus il y a plus de 30 ans. Devant le Tribunal fédéral, le recourant soutient pour l'essentiel que les travaux qu'il a entrepris postérieurement sur ces deux bâtiments relèveraient du simple entretien; ils n'auraient ainsi pas eu pour effet - contrairement à ce qu'a jugé l'instance précédente - de faire courir un nouveau délai de prescription de 30 ans, si bien que les autorités cantonales n'étaient plus en droit de demander la remise en état des lieux. En lien avec cet argumentaire, il invoque également une atteinte à la garantie de la propriété (art. 26 al. 1 Cst.) et l'arbitraire (art. 9 Cst.).
2.1.
2.1.1. Lorsque des constructions ou des installations illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. Le principe de la séparation de l'espace bâti et non bâti, qui préserve différents intérêts publics, est de rang constitutionnel; il fait partie intégrante de la notion d'utilisation mesurée du sol de l'art. 75 al. 1 Cst. (cf. Message du Conseil fédéral du 20 janvier 2010 relatif à une révision partielle de la de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 [LAT; RS 700], FF 2010 964 ch. 1.2.1 et 973 ch. 2.1; arrêt 1C_469/2019 du 28 avril 2021 consid. 5.5, destiné à la publication). Cette séparation doit par conséquent, en dehors des exceptions prévues par la loi, demeurer d'application stricte (ATF 132 II 21 consid. 6.4). Si des constructions illégales, contraires au droit de l'aménagement du territoire, sont indéfiniment tolérées en dehors de la zone constructible, le principe de la séparation du bâti et du non-bâti est remis en question et un comportement contraire au droit s'en trouve récompensé. S'ajoute à cela que la remise en état poursuit encore d'autres intérêts publics, à savoir la limitation du nombre et des dimensions des constructions en zone agricole (cf. ATF 132 II 21 consid. 6.4) ainsi que le respect du principe de l'égalité devant la loi (arrêt 1C_76/2019 du 28 février 2020 consid. 7.1 et les références citées).
2.1.2. Selon la jurisprudence, l'autorité peut renoncer à un ordre de démolition, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (ATF 132 II 21 consid. 6; 123 II 248 consid. 3a/bb). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF 123 II 248 consid. 4a; 111 Ib 213 consid. 6b et la jurisprudence citée).
2.1.3. En règle générale, le Tribunal fédéral examine librement si un ordre de remise en état, qui constitue une restriction du droit de propriété garanti par l'art. 26 al. 1 Cst., est justifié par un intérêt public suffisant et respecte le principe de la proportionnalité. Même un constructeur qui n'est pas de bonne foi peut invoquer le principe de la proportionnalité (cf. arrêts 1C_60/2021 du 27 juillet 2021 consid. 3.1; 1C_50/2020 du 8 octobre 2020 consid. 8.1.2).
2.1.4. Dans son arrêt 1C_469/2019 du 28 avril 2021, destiné à publication, le Tribunal fédéral a précisé qu'à l'inverse de ce qui prévaut pour les zones à bâtir, l'obligation de rétablir un état conforme au droit ne s'éteint pas après 30 ans s'agissant de bâtiments et installations érigés illégalement en dehors de la zone à bâtir (cf. arrêt 1C_469/2019 précité consid. 4 et 5). En particulier, s'il peut certes être tenu compte de situations exceptionnelles par le biais de solutions spécifiques, notamment par la fixation d'un délai de remise en état plus long, une utilisation illégale, qui contrevient au principe fondamental en matière d'aménagement du territoire de la séparation du territoire bâti et non bâti, ne doit pas se poursuivre indéfiniment sur la base du simple écoulement du temps (cf. arrêt 1C_469/2019 précité consid. 5.5 et 5.6).
2.1.5. En principe, une nouvelle jurisprudence doit s'appliquer immédiatement et à toutes les affaires pendantes au moment où elle est adoptée ou futures (ATF 142 V 551 consid. 4.1; 135 II 78 consid. 3.2; 132 II 153 consid. 5.1; arrêt 2C_199/2017 du 12 juin 2018 consid. 3.5)
2.2. L'essentiel de l'argumentation développée céans par le recourant se fonde sur l'ancienneté des constructions érigées sur sa parcelle, hors zone à bâtir, respectivement sur la question de savoir si les travaux entrepris sur celles-ci étaient de nature à interrompre la prescription de 30 ans. Compte tenu des rappels jurisprudentiels ci-dessus - que le recourant ne discute pas bien qu'invité à se déterminer (cf. supra En fait, let. D) - une telle critique apparaît dénuée de pertinence. Au surplus, on relèvera que le dossier ni ne fait mention ni ne contient d'autorisation de construire qui aurait été délivrée pour les deux immeubles concernés ni au demeurant pour les travaux de toiture. Le recourant ne démontre pas non plus que les travaux réalisés seraient susceptibles d'être autorisés; il n'a au demeurant pas requis leur régularisation dans le délai accordé à cet effet. Par ailleurs, soutenir qu'exiger la démolition de l'entier des bâtiments en raison de travaux de toiture réalisés postérieurement - et non la suppression de ces seuls travaux - serait disproportionnée dès lors que ces constructions sont implantées depuis plus de 30 ans n'est pas non plus pertinent au vu de la jurisprudence rappelée ci-dessus; le recourant ne prétend d'ailleurs pas que ces réalisations seraient, dans leur entier, conformes à la zone agricole, dans laquelle elles sont toutes deux implantées (cf. plan produit par l'Office des autorisations de construire dans le dossier d'infraction I 4269), ni qu'elles auraient bénéficié d'assurances de la part des autorités cantonales compétentes. S'agissant spécifiquement du bâtiment no 331, plus particulièrement de la possibilité d'un retour à l'affectation précédente prévue par la décision du DT - confirmée en dernière instance par la Cour de justice -, on peut s'interroger, à défaut d'autorisation au dossier (cf. à ce propos courriel du recourant à l'Inspection de la construction du 22 août 2019), quant à la conformité à la zone agricole du rétablissement d'une porcherie, respectivement si une telle opération ne devrait pas elle aussi en réalité être soumise à autorisation (cf. art 16 et 16a LAT et art. 34 OAT [RS 700.1]); cet aspect excède cependant l'objet du litige et doit partant - et à ce stade - souffrir de demeurer indécis.
Dans ces conditions et faute d'explications complémentaires (cf. art. 106 al. 2 LTF; ATF 142 II 369 consid. 2.1; arrêt 1C_267/2020 du 22 février 2021 consid. 2), on ne discerne pas en quoi il serait critiquable de faire prévaloir les intérêts publics importants poursuivis par la remise en état de la zone agricole ni où résiderait l'arbitraire.
2.3. Le grief est en conséquence rejeté, dans la mesure de sa recevabilité.
3.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable, aux frais du recourant, qui succombe (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Département du territoire de la République et canton de Genève, à la Cour de justice de la République et canton de Genève ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 12 novembre 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Alvarez