Faits :
A.
A._ est propriétaire depuis 1991 de la parcelle n° 11'355 de la Commune de Meyrin (GE), d'une surface de 2700 m2, à l'adresse du chemin X._, au lieu-dit " Y._ ". Deux bâtiments sont édifiés sur la parcelle, située en zone agricole: un bâtiment de 64 m2 à destination de hangar (n° 2336) et un bâtiment attenant de 20 m2 (garage; n° 4155).
Le hangar, construit en 1952, a été aménagé au fil du temps en une habitation secondaire de plain-pied avec une petite cave et des combles agencés. A._ y avait effectué des travaux d'assainissement, notamment s'agissant de l'évacuation des eaux par un collecteur séparatif.
B.
B.a. Le 2 mai 2018, après que le Registre foncier avait indiqué à A._, le 25 août 2017, avoir radié une servitude de restriction au droit de bâtir ayant grevé la parcelle, ce dernier a déposé auprès du Département cantonal de l'aménagement, du logement et de l'énergie (devenu entretemps le Département du territoire; ci-après: le Département) une demande d'autorisation de construire portant sur un changement d'affectation et la mise en conformité de l'habitation aménagée dans le hangar.
Le 18 juin 2018, le Département, par son Office des autorisations de construire, a informé A._ avoir constaté que le changement d'affectation, de même que notamment l'installation d'une clôture, d'un portail et de divers aménagements extérieurs, avaient déjà été réalisés, sans autorisation, ce qui était susceptible de constituer une infraction.
Le 2 juillet 2018, A._ a précisé au Département que sa demande de mise en conformité portait sur des éléments qui se trouvaient déjà sur la parcelle lorsqu'il l'avait acquise en 1991. Cependant, le 2 août 2018, il a informé le Département qu'il renonçait finalement à sa demande d'autorisation de construire, requérant en outre le classement du dossier.
B.b. Par décision du 29 janvier 2019, en dépit du renoncement exprimé par A._, le Département a refusé de lui délivrer une autorisation de construire.
Par décision du même jour, il a en outre ordonné à A._ de procéder à la remise en état de la parcelle dans un délai de 4 mois. Il lui appartenait ainsi de réaffecter le hangar à sa vocation initiale, de démolir le portail d'entrée, de supprimer toute clôture et haie, de démolir les installations situées dans le coin sud-ouest de la parcelle ainsi qu'à l'est du hangar et de supprimer tous les aménagements extérieurs. Le sol devait en outre être reconstitué au niveau du terrain naturel préexistant pour pouvoir à nouveau être exploité par l'agriculture. Une amende administrative de 5000 fr. a par ailleurs été infligée à A._.
C.
C.a. Statuant par jugement du 12 mars 2020 sur les recours formés par A._, en deux actes séparés, contre les décisions du 29 janvier 2019, le Tribunal administratif de première instance (ci-après: le Tribunal administratif) les a rejetés pour l'essentiel, n'admettant que partiellement le recours formé contre la seconde décision, s'agissant du montant de l'amende, qui a été ramené à 3000 francs.
En substance, les travaux, en tant qu'ils portaient sur une transformation, ne pouvaient pas être autorisés car l'utilisation de la parcelle n'était pas conforme à une affectation agricole, A._ n'étant de surcroît pas agriculteur et les travaux ayant été effectués de manière illicite. Par ailleurs, l'intéressé, qui avait échoué à démontrer que l'aménagement en logement et l'usage à titre d'habitation dataient d'il y a plus de 30 ans, ne pouvait pas invoquer ce délai et se prévaloir du principe de la proportionnalité pour se soustraire à l'injonction de remise en état, tout indiquant au contraire que les travaux d'aménagement avaient débuté en 1991 à la suite de l'acquisition de la parcelle et que le hangar n'avait pas eu d'usage d'habitation jusque-là.
C.b. Par arrêt du 15 décembre 2020, la Chambre administrative de la Cour de justice a rejeté le recours formé par A._ contre le jugement du 12 mars 2020.
D.
Agissant le 1er février 2021 par la voie du recours en matière de droit public, A._ demande, avec suite de frais et dépens, au Tribunal fédéral principalement la réforme de l'arrêt du 15 décembre 2020 en ce sens qu'il est ordonné au Département de lui délivrer une autorisation de construire portant sur le logement sis sur sa parcelle, la décision relative à la remise en état et à l'amende administrative étant annulée, subsidiairement la remise en état ne devant porter que sur les installations sises au coin sud-ouest de la parcelle. Plus subsidiairement, il demande l'annulation de l'arrêt et le renvoi de la cause à l'instance précédente pour nouvelle décision.
Invités à se déterminer, le Département et l'Office fédéral du développement territorial (ARE) concluent au rejet du recours. La cour cantonale se réfère pour sa part aux considérants de son arrêt.

Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant a pris part à la procédure de recours devant la Cour de justice, dont l'arrêt attaqué confirme le rejet de sa demande d'autorisation de construire portant sur le changement d'affectation de sa parcelle, de même que la remise en état de celle-ci ainsi que le prononcé de l'amende administrative qui lui a été infligée. En tant que propriétaire de la parcelle concernée et destinataire du prononcé d'amende, le recourant est ainsi particulièrement touché par l'arrêt attaqué et peut se prévaloir d'un intérêt personnel et digne de protection à son annulation. Il a dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF. Le recours a par ailleurs été formé en temps utile, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
En dépit de ses conclusions tendant à la délivrance d'une autorisation de construire pour le changement d'affectation de sa parcelle et pour la mise en conformité des travaux effectués, le recourant ne s'en prend nullement à l'appréciation de la cour cantonale selon laquelle les constructions en cause n'étaient pas conformes à l'affectation de la zone agricole (cf. art. 16a de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire [LAT; RS 700]), de sorte que les travaux n'étaient pas susceptibles d'être autorisés en vertu de l'art. 22 al. 2 LAT (cf. arrêt attaqué, consid. 6 p. 12). Le recourant n'explique pas non plus dans quelle mesure il pourrait bénéficier des exceptions prévues par les art. 24 ss LAT pour les constructions et installations hors de la zone à bâtir, n'évoquant d'ailleurs à aucun moment la LAT ou ses dispositions d'exécution dans ses différents développements.
En l'absence d'une quelconque critique quant à ces aspects (cf. art. 42 al. 2 LTF), le recours est irrecevable en tant qu'il vise à l'obtention d'une autorisation de construire.
3.
Le recourant concentre ainsi ses griefs sur la remise en état ordonnée en instance cantonale, qu'il tient pour disproportionnée et partant contraire à l'art. 5 al. 2 Cst. Il invoque également dans ce contexte des violations de son droit d'être entendu (art. 29 al. 2 Cst.), du principe de la maxime inquisitoire (art. 19 de la loi genevoise sur la procédure administrative du 12 septembre 1985 [LPA/GE; RS/GE E 5 10]) ainsi que du principe de la bonne foi et de l'interdiction des comportements contradictoires (art. 5 al. 3 et 9 Cst.).
3.1. Lorsque des constructions ou des installations illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. Le principe de la séparation de l'espace bâti et non bâti, qui préserve différents intérêts publics, est de rang constitutionnel; il fait partie intégrante de la notion d'utilisation mesurée du sol de l'art. 75 al. 1 Cst. (cf. Message du Conseil fédéral du 20 janvier 2010 relatif à une révision partielle de la LAT, FF 2010 964 ch. 1.2.1 et 973 ch. 2.1; arrêt 1C_469/2019 du 28 avril 2021 consid. 5.5, destiné à la publication). Cette séparation doit par conséquent, en dehors des exceptions prévues par la loi, demeurer d'application stricte (<ref-ruling> consid. 6.4). Si des constructions illégales, contraires au droit de l'aménagement du territoire, sont indéfiniment tolérées en dehors de la zone constructible, le principe de la séparation du bâti et du non-bâti est remis en question et un comportement contraire au droit s'en trouve récompensé. S'ajoute à cela que la remise en état poursuit encore d'autres intérêts publics, à savoir la limitation du nombre et des dimensions des constructions en zone agricole (cf. <ref-ruling> consid. 6.4) ainsi que le respect du principe de l'égalité devant la loi (arrêt 1C_76/2019 du 28 février 2020 consid. 7.1 et les références citées).
Selon la jurisprudence, l'autorité peut renoncer à un ordre de démolition, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6; <ref-ruling> consid. 3a/bb). Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a; <ref-ruling> consid. 6b et la jurisprudence citée).
En règle générale, le Tribunal fédéral examine librement si un ordre de remise en état, qui constitue une restriction du droit de propriété garanti par l'art. 26 al. 1 Cst., est justifié par un intérêt public suffisant et respecte le principe de la proportionnalité. Même un constructeur qui n'est pas de bonne foi peut invoquer le principe de la proportionnalité (cf. sur le tout: arrêt 1C_50/2020 du 8 octobre 2020 consid. 8.1.2).
3.2. Par ses griefs tirés d'une violation de son droit d'être entendu et de la maxime inquisitoire, le recourant entend se plaindre que la cour cantonale n'a pas pris en considération les moyens de preuve qu'il avait proposés pour démontrer que le hangar avait déjà été transformé en logement lorsqu'il avait acquis la parcelle en 1991, ce qui lui permettrait, si ce fait était établi, de bénéficier de la " prescription trentenaire " et partant d'être dispensé de l'obligation de remise en état.
3.2.1. Dans un arrêt récent, le Tribunal fédéral a toutefois précisé qu'à l'inverse de ce qui prévaut pour les zones à bâtir, l'obligation de rétablir un état conforme au droit ne s'éteignait pas après trente ans s'agissant de bâtiments et installations érigés illégalement en dehors de la zone à bâtir (cf. arrêt 1C_469/2019 précité consid. 4 et 5, destinés à la publication). En particulier, s'il peut certes être tenu compte de situations exceptionnelles par le biais de solutions spécifiques, notamment par la fixation d'un délai de remise en état plus long, une utilisation illégale, qui contrevient au principe fondamental en matière d'aménagement du territoire de la séparation des zones à bâtir des zones non constructibles, ne doit pas se poursuivre indéfiniment sur la base du simple écoulement du temps (cf. arrêt 1C_469/2019 précité consid. 5.5 et 5.6).
Dans ce contexte, les développements du recourant en lien avec l'ancienneté des constructions litigieuses sont pour l'essentiel dénués de pertinence. Il suffit à cet égard de constater que le recourant, qui ne requiert pas une prolongation du délai qui lui a été imparti pour la remise en état, ne se prévaut pas d'autorisations de construire qui auraient été accordées pour les constructions en cause à un moment ou à un autre, ni d'ailleurs que celles-ci avaient fait l'objet de demandes d'autorisation de construire, le recourant ayant expressément reconnu avoir conduit lui-même certains travaux, encore récemment (cf. arrêt attaqué, consid. 7b p. 15).
3.2.2. Au vu de ce qui précède, les griefs du recourant tirés d'une violation du droit d'être entendu et de la maxime inquisitoire n'ont pas lieu d'être. Néanmoins, pour être complet, et dès lors que la précision de la jurisprudence est postérieure à l'arrêt attaqué et au dépôt du recours au Tribunal fédéral, ces griefs seront brièvement traités ci-après.
En particulier, la cour cantonale n'a pas versé dans l'arbitraire en retenant que le hangar n'était pas encore aménagé en logement lors de l'acquisition de la parcelle par le recourant. Ainsi, alors qu'il avait allégué qu'avant 1991, le hangar servait de lieu de villégiature et permettait à ses parents - qui avaient loué la parcelle dès 1985 à son ancien propriétaire - de recevoir des connaissances, il n'avait pas été en mesure de produire ne serait-ce qu'une photographie, ni encore de contrat de bail ou de factures d'électricité ou d'eau par exemple, tendant à accréditer ce qui précède, pas plus qu'il n'avait documenté les quelques travaux qu'il prétendait avoir effectué depuis 1991. La photographie produite par le Département - une image aérienne datant de septembre 1991 - excluait de manière évidente la présence à cette époque d'un portail et d'une haie, ainsi que de tout autre bâtiment à part le garage. De même, le contrat de vente, conclu en 1991 également, ne mentionnait que l'existence d'un " hangar " et aucune police d'assurance antérieure à 1997 n'avait été établie, celle conclue à cette date, pour une valeur d'assurance de 300'000 fr., pouvant être vue comme visant à couvrir une plus-value consécutive à des travaux récents. Le témoin B._, qui habitait depuis 1975 à environ 150 mètres de la propriété, avait par ailleurs notamment déclaré que l'ancien propriétaire de la parcelle n'avait jamais rien fait du hangar, qui était selon lui inhabitable et servait tout au plus comme entrepôt ou comme poulailler. C'était ainsi dès 1991, toujours selon lui, qu'une haie avait été plantée et que des travaux d'entretien du hangar avaient été entrepris, une canalisation ayant alors été tirée depuis la parcelle du recourant (cf. arrêt attaqué, consid. 8e p. 18 ss).
Cela étant, l'appréciation anticipée des preuves, à laquelle la cour cantonale a procédé en refusant d'entendre les trois témoins proposés par le recourant, n'est pas empreinte d'arbitraire, les témoignages requis étant en l'occurrence ceux de proches du recourant (celle de sa mère notamment), dont les attestations écrites, préalablement produites par le recourant, avaient déjà été considérées comme insuffisamment probantes par rapport à celles du témoin B._ (cf. arrêt attaqué, consid. 8e p. 20). Le droit d'être entendu du recourant n'a dès lors pas été violé (cf. <ref-ruling> consid. 4.1 et les références citées). Il en va de même en ce qui concerne la demande du recourant tendant à la production par le Département des archives liées au raccordement téléphonique de celle-ci en 1986, aucune des déclarations produites, pas même celle de sa mère, n'ayant fait état d'un tel raccordement, alors qu'il n'en existait de surcroît aucun indice, tels qu'auraient pu l'être par exemple des images aériennes de poteaux ou de fils, un point de terminaison sur la façade ou une prise dans le bâtiment (cf. arrêt attaqué, consid. 2b p. 10 s.).
Au regard de ce qui précède, et s'agissant en l'occurrence d'un fait - l'affectation du hangar en logement depuis plus de trente ans - dont le recourant entendait se prévaloir pour en déduire un droit présumé - l'effet de la prescription trentenaire -, on ne distingue pas non plus de violation du principe de la maxime inquisitoire, voire des règles régissant le fardeau de la preuve. Compte tenu des mesures d'instruction menées et des preuves administrées, la cour cantonale pouvait en effet sans arbitraire tenir ce fait pour non établi, ce qui avait pour conséquence que le recourant ne pouvait pas s'en prévaloir (cf. arrêt 1C_611/2020 du 10 mai 2021 consid. 2.3 et les références citées).
3.3. Le recourant se prévaut ensuite de circonstances commandant, selon lui, à ce qu'il soit renoncé à une remise en état en vertu du principe de la bonne foi.
3.3.1. Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration. Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore qu'il se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (<ref-ruling> consid. 6.2; <ref-ruling> consid. 6; arrêt 2C_398/2020 du 5 février 2021 consid. 6.1).
Dans le cadre de la jurisprudence relative aux comportements contradictoires de l'administration, autre aspect du principe de la bonne foi, le respect des règles de la bonne foi par l'administration doit être examiné selon des critères objectifs, indépendamment de la personne des agents en cause; aussi l'administration peut-elle être rendue responsable d'un comportement contradictoire, même si celui-ci est dû à des personnes différentes, au besoin à l'insu des unes et des autres (<ref-ruling> consid. 2a; arrêt 1C_50/2020 précité consid. 8.1.2).
3.3.2. Le recourant explique qu'en 2011, il avait été enjoint par l'Office cantonal de l'eau (OCEau; dénommé à cette époque Service de la planification de l'eau) de procéder au raccordement de sa parcelle au système public d'assainissement. Dès lors, cet office, et par extension le Département - auquel il était subordonné -, n'ignoraient pas l'usage de sa propriété comme habitation, mais l'avaient néanmoins toléré pendant au moins sept ans. Sa croyance en la légalité de la situation de sa parcelle avait de surcroît été confirmée par les propos du préposé du Registre foncier, qui lui avait indiqué le 25 août 2017 que les travaux de raccordement visés lui permettaient d'obtenir la radiation de la servitude de restriction au droit de bâtir grevant sa parcelle et partant de requérir la mise en conformité des travaux réalisés, les conditions en étant réunies.
Pour autant, à l'instar de la cour cantonale, on ne voit pas que le recourant aurait pu, de bonne foi, se figurer que l'OCEau ou le préposé au Registre foncier disposait d'une quelconque compétence pour approuver les travaux réalisés et leur mise en conformité ou, à tout le moins, pour engager le Département à ces égards. Si le recourant paraît certes avoir procédé au raccordement de sa parcelle au système public d'évacuation des eaux conformément à l'injonction reçue de l'OCEau, il n'explique pas quelle intervention du Département, ou d'un service qui lui était subordonné, lui permettait d'en déduire une tolérance s'agissant des autres infrastructures réalisées sur sa parcelle - qui se limitent pas, loin s'en faut, à des travaux en lien avec le traitement des eaux -, le silence du Département n'étant en l'occurrence pas susceptible d'être interprété comme une assurance que le recourant aurait reçue. Au reste, celui-ci ne précise pas les circonstances dans lesquelles le préposé du Registre foncier lui avait assuré que les conditions d'une mise en conformité étaient réunies. En particulier, il ne se prévaut pas d'écrits dont il pourrait en être déduit que les constructions litigieuses avaient valablement été mises en conformité. Aussi, s'il est concevable que le préposé lui avait indiqué qu'il lui était désormais possible d'envisager l'édification de constructions sur sa parcelle compte tenu de la radiation de la servitude de restriction au droit de bâtir, il est douteux que ce même préposé lui avait effectivement donné de quelconques assurances quant à la conformité des travaux précédemment réalisés, notamment sous l'angle du droit public des constructions. Il ressort par ailleurs de toutes les circonstances que le recourant n'avait pas entrepris la grande majorité des travaux eu égard à des assurances de l'OCEau ou du préposé au Registre foncier, mais bien qu'il les avait déjà effectués auparavant.
3.4. Le recourant fait enfin valoir, en invoquant à cet égard une violation du principe de la proportionnalité, que les inconvénients entraînés par une remise en état sont excessifs eu égard à l'intérêt public visé.
3.4.1. La cour cantonale a estimé que l'intérêt public lésé était particulièrement important, en tant qu'il portait sur la préservation de la vocation agricole de la parcelle du recourant et du hangar qu'elle contenait, et devait ainsi être privilégié à l'intérêt privé du recourant au maintien de la situation actuelle, alors que ce dernier avait placé les autorités devant le fait accompli, en dérogeant de manière majeure aux règles applicables s'agissant de la transformation d'une grange en logement et d'une parcelle agricole en jardin d'agrément d'une résidence secondaire.
L'ordre de remise en état constituait ainsi une mesure adéquate, apte à atteindre le but visé et ne portant à la propriété du recourant qu'une atteinte limitée compte tenu de l'intérêt public visé. Il était ainsi conforme au principe de la proportionnalité (cf. arrêt attaqué, consid. 10b p. 22 s.).
3.4.2. Cette approche ne prête pas le flanc à la critique. En ce qui concerne les coûts de la remise en état, qui pourraient selon le recourant atteindre plusieurs dizaines de milliers de francs, on relèvera que les différents frais afférents aux travaux litigieux ont été engagés alors que le recourant ne pouvait pas ignorer la nécessité d'obtenir une autorisation de construire pour ceux-ci, de sorte qu'il ne saurait en tirer grief. Il a par ailleurs bénéficié pendant de nombreuses années des installations non autorisées, alors que celles-ci n'auraient jamais dû être réalisées à cet endroit. En tant que le recourant se prévaut par ailleurs de l'existence de logements sur les parcelles agricoles voisines, il ne tente nullement de démontrer en quoi ces logements ne seraient pas conformes au droit, ni en quoi il pourrait, par hypothèse, en découler une violation de l'égalité de traitement. Il n'est du reste pas déterminant qu'une infrastructure prétendument " colossale " serait projetée par le CERN sur une parcelle voisine, également en zone agricole, s'agissant de surcroît d'un fait qui n'a pas été retenu par l'autorité précédente. Il en est de même lorsque le recourant se prévaut, sans étayer plus avant ses explications, que les constructions litigieuses (notamment la clôture, la haie, le portail, le poulailler, les clapiers et le pigeonnier) ne causeraient aucune atteinte à l'environnement et laisseraient la zone agricole intacte.
3.5. Il s'ensuit que l'ordre de remise en état, qui n'apparaît pas contraire au droit fédéral, doit être confirmé.
4.
Le recourant ne consacre enfin aucun grief spécifique à l'amende administrative de 3000 fr. qui lui a été infligée par la cour cantonale en application de l'art. 137 de la loi genevoise sur les constructions et les installations diverses du 14 avril 1988 (LCI; RS/GE L 5 05). Il n'y a donc pas lieu d'y revenir, l'infraction à la loi étant patente et le montant de l'amende n'apparaissant pas abusif.
5.
Le recours doit être rejeté dans la mesure où il est recevable.
Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge du recourant, qui succombe. Il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Département du territoire de la République et canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, et à l'Office fédéral du développement territorial.
Lausanne, le 27 juillet 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
Le Greffier : Tinguely