Citation: 1C_60/2021 E. B

B.a. Le 2 mai 2018, après que le Registre foncier avait indiqué à A.________, le 25 août 2017, avoir radié une servitude de restriction au droit de bâtir ayant grevé la parcelle, ce dernier a déposé auprès du Département cantonal de l'aménagement, du logement et de l'énergie (devenu entretemps le Département du territoire; ci-après: le Département) une demande d'autorisation de construire portant sur un changement d'affectation et la mise en conformité de l'habitation aménagée dans le hangar. Le 18 juin 2018, le Département, par son Office des autorisations de construire, a informé A.________ avoir constaté que le changement d'affectation, de même que notamment l'installation d'une clôture, d'un portail et de divers aménagements extérieurs, avaient déjà été réalisés, sans autorisation, ce qui était susceptible de constituer une infraction. Le 2 juillet 2018, A.________ a précisé au Département que sa demande de mise en conformité portait sur des éléments qui se trouvaient déjà sur la parcelle lorsqu'il l'avait acquise en 1991. Cependant, le 2 août 2018, il a informé le Département qu'il renonçait finalement à sa demande d'autorisation de construire, requérant en outre le classement du dossier. B.b. Par décision du 29 janvier 2019, en dépit du renoncement exprimé par A.________, le Département a refusé de lui délivrer une autorisation de construire. Par décision du même jour, il a en outre ordonné à A.________ de procéder à la remise en état de la parcelle dans un délai de 4 mois. Il lui appartenait ainsi de réaffecter le hangar à sa vocation initiale, de démolir le portail d'entrée, de supprimer toute clôture et haie, de démolir les installations situées dans le coin sud-ouest de la parcelle ainsi qu'à l'est du hangar et de supprimer tous les aménagements extérieurs. Le sol devait en outre être reconstitué au niveau du terrain naturel préexistant pour pouvoir à nouveau être exploité par l'agriculture. Une amende administrative de 5000 fr. a par ailleurs été infligée à A.________.