Faits :
A.
A._ est propriétaire de la parcelle n° xxx, feuille --, de la commune de U._. Le bâtiment construit sur cette parcelle, sise rue yyy, fait partie d'un ensemble protégé édifié au début du XX e siècle.
B.
B.a. Le 28 mars 2012, B._, collaborateur au sein du bureau C._ Sàrl, agissant pour le compte de A._, a informé le Service cantonal des monuments et des sites (SMS) de la nécessité de réaliser des travaux urgents pour sécuriser l'immeuble précité, soit en l'occurrence:
" - évacuation dallettes béton et autres matériaux entreposés sur les terrasses
- démolition étanchéité - isolation - ferblanterie sur terrasse/ superstructure et évacuation
- remise en état des fonds planchers et dalles
- réfection de la piscine, remise aux normes de la technique existante, eau et électricité
- nouvelle isolation thermique, étanchéité, ferblanterie et revêtement de sol caillebotis bois sur toute la terrasse plate ".
B._ a par ailleurs indiqué que la réalisation de ces travaux devait débuter durant la deuxième semaine du mois d'avril 2012. Dans un deuxième temps, d'autres travaux interviendraient, dont notamment le changement des garde-corps ou le changement des vitrages.
Le 10 mai 2013, le Département de l'aménagement, du logement et de l'environnement du canton de Genève ( devenu le Département du territoire; ci-après: le Département) a informé B._ qu'une demande d'autorisation devait être déposée pour le type de travaux envisagés et l'a expressément mis en garde sur le fait que le chantier ne devait pas commencer avant la délivrance de l'autorisation.
B.b. Le 28 octobre 2013, A._, par l'intermédiaire de l'architecte D._, a déposé auprès du Département une demande d'autorisation de construire portant sur la rénovation de l'immeuble, la réfection et l'isolation de la terrasse et de la toiture, la pose de barrières et le remplacement des fenêtres. Il était précisé que la réfection de l'étanchéité de la toiture terrasse était urgente et devait être exécutée le plus rapidement possible.
B.c. Par décisions des 13 et 27 mars 2014, notifiées respectivement à D._ et au recourant lui-même, le Département a ordonné l'arrêt immédiat des travaux alors en cours sur la toiture du bâtiment, jusqu'à régularisation de la situation. Ces décisions faisaient référence à l'inspection des lieux réalisée par un inspecteur du Département le 26 février 2014, lors de laquelle il avait été constaté que des travaux avaient été réalisés sans que le Département n'ait été saisi d'une demande d'autorisation de construire, alors que ces travaux étaient susceptibles d'être assujettis à la loi cantonale sur les constructions et les installations diverses du 14 avril 1988 (LCI; RS/GE L 5 05) et à la loi cantonale sur les démolitions, transformations et rénovations de maisons d'habitation du 25 janvier 1996 (LDTR; RS/GE L 5 20). Il en allait ainsi, aux termes de la décision du 13 mars 2014, de la " dépose de la protection de l'étanchéité ", de la " démolition des murets des bacs à fleurs " et de la " démolition de l'escalier ouest " ainsi qu'aux termes de la décision du 27 mars 2014, de la " dépose des revêtements, réseaux et accessoires sanitaires du local appelé débarras derrière la piscine ", du " changement des vitrages du hall ", de la " présence d'une climatisation dans la chambre " et de la " présence d'un chauffage électrique dans la cabane serre ".
Le 5 mai 2014, A._, par l'intermédiaire de son conseil, a informé le Département que les travaux avaient été suspendus. Il a indiqué par ailleurs que ceux faisant l'objet de la demande d'autorisation de construire du 28 octobre 2013 étaient urgents.
B.d. Le 8 décembre 2015, le Département a délivré l'autorisation de construire sollicitée par A._ le 28 octobre 2013.
Le même jour, par courrier adressé au conseil de A._, le Département a ordonné le paiement d'une amende de 5000 fr. en raison de travaux effectués sans autorisation. Saisi d'un recours du conseil précité contre cette décision, qui se plaignait que celle-ci ne désignait pas correctement son destinataire, le Tribunal administratif de première instance de la République et canton de Genève l'a annulée par jugement du 9 novembre 2016, lequel a été confirmé par arrêt de la Chambre administrative de la Cour de justice genevoise du 21 mars 2017.
C.
Par décision du 27 novembre 2017, le Département a condamné A._ à une amende de 5000 fr. en raison de travaux effectués sans autorisation sur son immeuble.
Statuant par jugement du 15 novembre 2018, le Tribunal administratif de première instance (TAPI) a partiellement admis le recours formé par A._ contre la décision du 27 novembre 2017, l'amende ayant été réduite à 3000 francs. Le recours formé par A._ contre ce jugement a été rejeté par arrêt du 13 août 2019 de la Chambre administrative de la Cour de justice genevoise.
D.
A._ forme un recours en matière de droit public au Tribunal fédéral contre l'arrêt du 13 août 2019. Il conclut, avec suite de frais et dépens, principalement à son annulation et subsidiairement au renvoi de la cause à la Chambre administrative pour nouvelle décision dans le sens des considérants. Plus subsidiairement, il conclut, en raison des seuls faits visés dans la décision du 27 mars 2014, à la réduction substantielle de l'amende prononcée.
Invitée à se déterminer, la Chambre administrative a indiqué qu'elle n'avait pas d'observations à formuler sur le recours, se référant aux considérants de l'arrêt attaqué. Le Département a pour sa part conclu au rejet du recours.
A._ a par la suite persisté dans ses conclusions.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 241; <ref-ruling> consid. 1 p. 282).
1.1. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) concernant une amende administrative prononcée dans le domaine du droit public des constructions (<ref-law>). La voie du recours en matière de droit public est partant ouverte. Le recours a en outre été déposé en temps utile (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>.
1.2. Dans la mesure où le recours en matière de droit public est une voie de réforme (<ref-law>), le recourant ne peut en principe se borner à demander l'annulation de la décision attaquée, mais il doit prendre des conclusions sur le fond du litige (cf. <ref-ruling> consid. 1.3 p. 317; arrêt 1C_464/2019 du 5 décembre 2019 consid. 1.2). Alors que le recourant conclut principalement à l'annulation de l'arrêt attaqué et, subsidiairement, à son renvoi à l'autorité précédente, ce n'est qu'à titre " plus subsidiaire " qu'il conclut à la " réduction substantielle " du montant de l'amende prononcée. Cela étant, à la lecture de son mémoire de recours (cf. en particulier p. 9, dernier paragraphe), on comprend toutefois qu'il souhaite principalement, compte tenu de l'absence d'autorisation nécessaire au regard de la nature des travaux en cause et de l'urgence de leur réalisation, se voir libéré de toute sanction administrative en lien avec les travaux qui auraient été effectués sans autorisation sur le bâtiment édifié sur la parcelle n° xxx, feuille --, de la commune de U._, dont il est propriétaire.
2.
Invoquant un déni de justice formel (art. 29 al. 1 Cst.) ainsi qu'une violation de son droit d'être entendu (art. 29 al. 2 Cst.), le recourant se plaint que la cour cantonale s'est abstenue d'examiner les griefs par lesquels il entendait démontrer que la réalisation des travaux litigieux, notamment de par leur nature et compte tenu de l'urgence de la situation, ne nécessitait pas d'autorisation de construire et n'était donc pas constitutive d'une contravention au sens de l'art. 137 LCI.
2.1.
2.1.1. Selon l'art. 29 al. 1 Cst., toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Il y a déni de justice formel lorsqu'une autorité n'applique pas ou applique d'une façon incorrecte une règle de procédure, de sorte qu'elle ferme l'accès à la justice au particulier qui, normalement, y aurait droit. L'autorité qui se refuse à statuer, ou ne le fait que partiellement, viole l'art. 29 al. 1 Cst. (cf. <ref-ruling> consid. 3.1 p. 192 et les références citées; arrêts 1C_475/2019 du 29 janvier 2020 consid. 3.2; 1C_647/2018 du 14 août 2019 consid. 2.3). Le Tribunal fédéral examine librement le point de savoir s'il y a déni de justice formel. Par contre, il n'examine que sous l'angle de l'arbitraire l'interprétation et l'application des dispositions de droit cantonal topiques (<ref-ruling> consid. 3.1 p. 192; <ref-ruling> consid. 2.1 p. 9).
Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. implique notamment le devoir pour l'autorité de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuves et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 3.1 p. 109; <ref-ruling> consid. 5.2 p. 70 s.; <ref-ruling> consid. 1.2.1 p. 246). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision. En revanche, une autorité se rend coupable d'un déni de justice formel lorsqu'elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (<ref-ruling> consid. 3.2.1 p. 565).
2.1.2. Aux termes de l'art. 137 al. 1 LCI, est passible d'une amende administrative de 100 fr. à 150'000 fr. tout contrevenant à la LCI (let. a), aux règlements et aux arrêtés édictés en vertu de cette loi (let. b) ainsi qu'aux ordres donnés par le Département dans les limites de la LCI des règlements et arrêtés édictés en vertu de celle-ci (let. c). Le montant maximum de l'amende est de 20'000 fr. lorsqu'une construction, une installation ou tout autre ouvrage a été entrepris sans autorisation mais que les travaux sont conformes aux prescriptions légales (al. 2). Il est tenu compte, dans la fixation du montant de l'amende, du degré de gravité de l'infraction. Constituent notamment des circonstances aggravantes la violation des prescriptions susmentionnées par cupidité, les cas de récidive et l'établissement, par le mandataire professionnellement qualifié ou le requérant, d'une attestation, au sens de l'art. 7 LCI, non conforme à la réalité (al. 3).
Selon l'art. 1 al. 1 LCI, sur tout le territoire du canton, nul ne peut, sans y avoir été autorisé, élever en tout ou partie une construction ou une installation, notamment un bâtiment locatif, industriel ou agricole, une villa, un garage, un hangar, un poulailler, un mur, une clôture ou un portail (let. a), modifier même partiellement le volume, l'architecture, la couleur, l'implantation, la distribution ou la destination d'une construction ou d'une installation (let. b), démolir, supprimer ou rebâtir une construction ou une installation (let. c) ou encore modifier la configuration du terrain (let. d). L'art. 1 al. 4 LCI prévoit qu'en zone à bâtir, l'édification de constructions de très peu d'importance, telles que définies par l'art. 1 al. 5 LCI (soit notamment les cabanes amovibles de dimension modeste [let. a] ou encore les pergolas non couvertes [let. b]), n'est pas soumise à autorisation de construire, les dispositions relatives à la protection du patrimoine demeurant réservées.
2.1.3. Lorsque l'état d'une construction, d'une installation ou d'une autre chose n'est pas conforme aux prescriptions de la LCI, des règlements qu'elle prévoit ou des autorisations délivrées en application de ces dispositions légales ou réglementaires, le Département peut notamment ordonner, à l'égard des constructions, des installations ou d'autres choses, la suspension des travaux (art. 129 let. a et 130 LCI). L'art. 131 LCI dispose que les propriétaires ou leurs mandataires, les entrepreneurs et les usagers sont tenus de se conformer aux mesures ordonnées par le Département, en application des art. 129 s. LCI.
2.2.
2.2.1. Il peut être admis avec la cour cantonale que, par la notification des décisions des 13 et 27 mars 2014, le recourant et son mandataire avaient été informés de la nature des travaux qui, de l'avis du Département, avaient été réalisés sans autorisation. Il ne saurait en revanche être considéré que l'absence de recours contre ces décisions, qui portaient sur la seule suspension des travaux en cours (cf. art. 129 let. a LCI), de même que la mise en garde qui lui avait été adressée par le Département le 10 mai 2013, rendaient tardifs les griefs soulevés par le recourant et l'empêchaient en particulier de contester, dans le cadre des voies de droit contre l'amende administrative, la nécessité de disposer d'une autorisation de construire.
Ainsi, en tant que les arguments évoqués par le recourant se rapportaient au caractère peu important de certains travaux (cf. art. 1 al. 3 et 5 LCI) et à l'urgence de la situation, ils ne paraissaient pas d'emblée dénués de pertinence au moment de déterminer si l'ensemble des modifications réalisées était effectivement soumis à autorisation et si leur réalisation justifiait donc le prononcé d'une amende administrative au sens de l'art. 137 LCI, ainsi que, le cas échéant, la quotité de celle-ci. Il ne ressort du reste pas de l'arrêt entrepris que la cour cantonale disposait à cet égard, en vertu du droit cantonal, d'un pouvoir d'examen plus restreint que le TAPI, qui avait pour sa part pris en considération les griefs du recourant, en retenant en particulier, au moment de fixer le montant de l'amende, qu'une partie des travaux reprochés ne pouvait lui être imputée, étant donné qu'ils avaient été réalisés par un ancien locataire (cf. jugement du TAPI du 15 novembre 2018, consid. 23 p. 13).
2.2.2. Dès lors, il y a lieu d'admettre qu'à défaut d'examiner les griefs soulevés par le recourant en lien avec la réalisation des éléments constitutifs de la contravention prévue à l'art. 137 LCI, l'arrêt attaqué est entaché d'un déni de justice formel.
3.
Le recours doit partant être admis et l'arrêt attaqué annulé. La cause est renvoyée à la cour cantonale pour nouvelle décision au sens des considérants.
Il n'y a pas lieu de percevoir de frais judiciaires (<ref-law>). Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens à la charge du canton de Genève (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt rendu le 13 août 2019 par la Chambre administrative de la Cour de justice de la République et canton de Genève est annulé. La cause est renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de dépens, fixée à 2500 fr., est alloué au mandataire du recourant à la charge du canton de Genève.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Département du territoire et à la Cour de justice de la République et canton de Genève, Chambre administrative, 3 ème section.
Lausanne, le 21 avril 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Tinguely