Faits : A. A._, E._ ainsi que F._ et G._ sont propriétaires de la parcelle n° 1, située en zone 5, de la commune de V._. Selon le Registre foncier, la parcelle abrite un " commerce " (bâtiment n° 2), un " garage privé " (n° 3) ainsi qu'un " autre bâtiment " (n° 4). B. Lors d'un contrôle effectué sur place le 2 mai 2017, un inspecteur du Département de l'aménagement, du logement et l'environnement du canton de Genève (devenu le Département du territoire; ci-après: le Département) a procédé aux constats suivants: changement d'affectation du bâtiment n° 4 de bureaux en salon de massage érotique, la totalité des bureaux ayant été transformés en chambres; modification de la surface brute de plancher par la création de combles habitables, les jours naturels n'étant pas respectés dans les combles; non-conformité de la largeur d'escalier (80 cm) menant aux combles et des garde-corps; installation d'une palissade en bois à l'extérieur. Ce constat a donné lieu à l'ouverture d'un dossier d'infraction (enregistré sous référence ---). Par courriers du 5 mai 2017, le Département a informé les propriétaires des constats précités en relevant en substance que le changement d'affectation et les travaux en cause avaient été effectués sans autorisation de construire et qu'ils pouvaient dès lors justifier le prononcé d'une sanction au sens de la loi genevoise sur les constructions et les installations diverses du 14 avril 1988 (LCI; RS/GE L 5 05). Il a invité les propriétaires à lui faire part de leurs observations et explications éventuelles dans un délai de 10 jours. Par décision du 23 mai 2017, adressée aux propriétaires par pli recommandé, le Département, en l'absence de réponse à son précédent courrier, leur a ordonné de requérir, dans un délai de 30 jours dès réception de la présente, une autorisation de construire afin de tenter de régulariser la situation. Le Département a précisé que sa décision à cet égard, de même que " toutes mesures ou sanction justifiées par la situation demeuraient réservées ". Il était mentionné que la décision pouvait faire l'objet d'un recours dans un délai de 10 jours au Tribunal administratif de première instance (TAPI). Dans des courriers adressés les 26 mai, 12 juin et 23 juin 2017 au Département, les propriétaires, dont en particulier A._, par l'intermédiaire de son conseil, ont remis en cause la validité de l'ordre du 23 mai 2017, lequel ne reposait selon eux sur aucune base légale. Ils ont par ailleurs contesté avoir commis une quelconque infraction, expliquant en substance que le bâtiment concerné avait déjà été affecté en " commercial ", de sorte qu'une modification d'affectation ne semblait pas nécessaire. Ils ont également fait valoir que les modifications intérieures signalées avaient été effectuées sans leur consentement, le bâtiment en cause, qu'ils avaient récupéré en 2016, ayant précédemment fait l'objet de droits de superficie en faveur de tiers. Pour sa part, dans ses courriers des 1 eret 15 juin 2017, le Département a maintenu la position exprimée dans sa décision du 23 mai 2017. C. Par décision du 15 août 2017, adressée au seul conseil de A._, le Département a infligé aux propriétaires une amende administrative de 1000 fr. après avoir constaté que ceux-ci n'avaient pas déposé d'autorisation de construire dans le délai imparti par courrier du 23 mai 2017. Il leur a en outre ordonné de requérir, dans un délai de 30 jours, une autorisation de construire sous forme de demande définitive afin de tenter de régulariser la situation. Le 23 août 2017, le conseil précité a relevé à l'attention du Département qu'il défendait uniquement les intérêts de A._, à l'exclusion de ceux des autres propriétaires. D. Par jugement du 13 février 2018, le TAPI a partiellement admis le recours formé par A._ contre la décision du 15 août 2017, celle-ci ayant été annulée en tant qu'elle portait sur l'amende prononcée. Il a constaté au surplus que le recours était devenu sans objet, dans la mesure où l'intéressé avait finalement, en date du 4 septembre 2017, donné suite à l'injonction de déposer une demande d'autorisation de construire. Statuant par arrêt du 17 septembre 2019, la Chambre administrative de la Cour de justice genevoise a admis le recours formé par le Département contre le jugement du 13 février 2018. Celui-ci a été annulé et la décision du 15 août 2017 rétablie en tant qu'elle prononce une amende de 1000 fr. à l'égard de A._. E. A._ forme un recours en matière de droit public au Tribunal fédéral contre l'arrêt du 17 septembre 2019. Il conclut, avec suite de frais et dépens, à ce qu'il soit libéré de l'amende administrative qui lui a été infligée. Invitée à se déterminer, la Chambre administrative a indiqué qu'elle n'avait pas d'observations à formuler sur le recours, se référant aux considérants de l'arrêt attaqué. Le Département a pour sa part conclu au rejet du recours. A._ a par la suite persisté dans ses conclusions.