Faits : A. A._ est propriétaire d'un immeuble d'habitation au 9 rue [...] à Genève (parcelle 1148 de la commune de Genève-Plainpalais). Le 24 octobre 2016, il a requis auprès du Département cantonal du territoire (ci-après : le département) la transformation de locaux au deuxième étage, d'une surface de 138 m2 et affectés en cabinet médical, en cabinet de psychothérapie. Les travaux portaient notamment sur l'abattage de cloisons pour réunir trois pièces en un seul cabinet de 23,3 m2 ainsi que sur l'isolation phonique de deux pièces. Les préavis requis ont été favorables, sous réserve du Service LDTR qui demandait une compensation des locaux affectés à l'origine au logement. Le 23 août 2017, le département a refusé l'autorisation de construire: le projet visait à soustraire un logement du parc immobilier genevois répondant aux besoins prépondérants de la population. Les travaux dépassaient le seuil du simple entretien et ne pouvaient dès lors être autorisés. B. A._ a saisi successivement le Tribunal administratif de première instance (ci-après : TAPI) puis la Chambre administrative de la Cour de justice du canton de Genève, lesquels ont confirmé la décision du département. Selon l'arrêt de la Chambre administrative, du 19 novembre 2019, les locaux étaient à l'origine voués à l'habitation. L'affectation commerciale comme cabinet médical n'était prouvée que depuis 1978, soit après l'entrée en vigueur de la loi cantonale restreignant les démolitions et transformations de maisons d'habitation en raison de la pénurie de logements, du 17 octobre 1962 (ci-après : aLDTR). Cette loi soumettait les changements d'affectation à autorisation et aucune autorisation de ce type n'avait été produite qui attesterait de la légalité de l'affectation existante depuis 1978. Selon la jurisprudence, l'acquisition de la prescription trentenaire ne rendait pas licite le changement d'affectation mais empêchait simplement une remise en état des lieux. Les locaux gardaient donc leur affectation en tant que logement et la LDTR continuait de leur être applicable même si l'affectation commerciale pouvait subsister. Les travaux impliquaient une modification de la distribution des pièces et constituaient une transformation qui ne pouvait être autorisée. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Chambre administrative et de le réformer en ce sens que l'autorisation de construire est accordée. La Chambre administrative persiste dans le dispositif et les considérants de son arrêt. Le département conclut au rejet du recours. Dans ses dernières observations, le recourant persiste dans ses conclusions.