Faits:
A. Le 17 septembre 1997, A._ a obtenu une subvention de 99'750 fr. de l'Etat de Genève pour la rénovation et la transformation de l'immeuble dont il est propriétaire au 3, rue Saint-Léger à Genève. Les travaux portaient sur la réfection de la toiture, la création de deux appartements - dix-sept pièces au total - dans les combles et l'installation d'un ascenseur. La subvention était subordonnée au respect d'un loyer maximum de 146'370 fr, par année au total pour les deux nouveaux appartements, soit 8'610 fr. la pièce. L'autorisation de construire, délivrée le 10 février 1998, reprend notamment cette condition, précisant que les loyers seraient appliqués durant cinq ans dès la mise en location.
B. Entre les mois de mars et de juin 2008, le Département cantonal des constructions et des technologies de l'information (DCTI) s'est adressé à la régie représentant le propriétaire afin de vérifier que les loyers fixés pour les deux appartements de 7,5 et 9,5 pièces avaient bien été respectés. La régie fit savoir que les loyers cumulés des deux appartements étaient bien de 146'370 fr. Le 18 juin 2008, le DCTI constata que le loyer annuel fixé pour l'appartement de 9,5 pièces était de 84'000 fr. dès le 1er avril 2000, puis de 84'804 fr., alors que le montant maximum par pièces n'autorisait qu'un loyer de 81'795 fr. Ordre était donné au bailleur d'établir de nouveaux contrats dans le respect des montants fixés, et de rembourser le trop-perçu au locataire.
C. A._ a saisi successivement la Commission cantonale de recours, puis le Tribunal administratif genevois. Par arrêt du 22 juin 2010, ce dernier a considéré que le loyer maximum par pièce n'était pas un loyer moyen qui pouvait être réparti entre les deux appartements. L'ordre de restitution - limité au 23 mars 2005 - n'était pas disproportionné, même si le propriétaire n'avait pas perçu, globalement, un loyer supérieur à celui autorisé.
D. Par acte du 1er septembre 2010, A._ forme un recours en matière de droit public. Il demande l'annulation de l'arrêt cantonal et de la décision du DCTI, subsidiairement le renvoi de la cause au Tribunal administratif pour annulation de la décision du DCTI. Le recourant a requis et obtenu l'effet suspensif.
Le Tribunal administratif persiste dans les considérants et le dispositif de son arrêt. Le DCTI conclut au rejet du recours.
Considérant en droit:
1. Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Le recourant, qui se voit imposer le remboursement de sommes perçues à titre de loyer ainsi que la conclusion d'un nouveau contrat de bail, a qualité pour agir au sens de l'art. 89 al. 1 LTF.
2. Le recourant invoque le principe de la bonne foi. Selon lui, l'autorisation délivrée en 1998 devrait être interprétée en ce sens que le loyer admissible pour les deux appartements était un loyer global, les montants fixés par pièces ne constituant qu'une moyenne. Cela ressortirait d'une note technique du 12 janvier 1998 du département compétent, qui mentionne des loyers par pièces fixés "en moyenne", d'une lettre du recourant proposant un état locatif global et de la décision du chef du département du 17 décembre 1997 fixant le loyer annuel admissible à 146'370 fr. au total, soit 8'610 fr. la pièce. Le DCTI avait d'ailleurs lui-même considéré, dans un premier temps - avant d'être relancé par le dénonciateur - que l'état locatif global avait été respecté; cela avait permis au recourant d'augmenter légèrement le loyer de l'appartement de 9,5 pièces, pour tenir compte de la situation plus favorable de celui-ci.
2.1 Le principe de la bonne foi régit non seulement les relations entre individus, mais aussi l'ensemble de l'activité étatique (art. 5 al. 3 et 9 Cst.). Il permet au citoyen - à certaines conditions - d'exiger que l'autorité respecte ses promesses et qu'elle évite de se contredire (ATF 131 II 627 consid. 6.1 p. 635). Les décisions et déclarations de l'autorité doivent être interprétées selon le sens que l'on peut raisonnablement et objectivement leur attribuer, en fonction des circonstances concrètes.
2.2 La LDTR a notamment pour but de préserver l'habitat et les conditions de vie existants ainsi que le caractère actuel de l'habitat dans les zones de construction (art. 1 LDTR). Conformément à ce but, le département compétent fixe, comme condition aux autorisations de démolir ou de transformer, le montant maximum des loyers après travaux (art. 10 LDTR). Les loyers sont soumis au contrôle de l'Etat pendant une période de trois ans en cas de transformation ou de rénovation, jusqu'à cinq ans pour une transformation lourde et de cinq à dix ans en cas de construction nouvelle (art. 12 LDTR).
2.3 La décision d'octroi de la subvention, du 17 décembre 1997, précise clairement que les loyers des deux appartements à créer dans la surélévation comprenant 17 pièces n'excèderont pas 146'370 fr. au total par année, "soit fr. 8'610 la pièce l'an". Cette dernière mention se rapporte manifestement à un montant maximum et non à une valeur moyenne, sans quoi l'indication de l'état locatif global eût été suffisante. Le texte clair de cette décision faisait foi; il n'autorisait pas le recourant à s'en écarter en se fondant sur des notes internes ou des correspondances échangées auparavant. Au demeurant, la proposition d'état locatif adressée le 24 novembre 1997 par le recourant au département est de "17 pièces à fr. 8'610", soit 146'370 fr.; la note du 12 janvier 1998 mentionne des loyers moyens par pièces, mais seulement pour les appartements existants; pour les deux logements nouveaux, elle fait uniquement état d'un loyer maximum par pièces, ce qui va dans le sens de ce qui précède. Par ailleurs, si le département a marqué quelque hésitation avant de prendre la décision litigieuse, le recourant ne saurait en tirer aucun argument, du point de vue du principe de la bonne foi. Le grief doit par conséquent être écarté.
3. Le recourant se plaint ensuite d'une application arbitraire de l'art. 10 1ère phrase LDTR, disposition qui, selon lui, n'indiquerait nullement que les loyers doivent être fixés par pièces. Les art. 6 et 9 LDTR, qui prévoient un prix par pièces, ne se rapporteraient pas aux nouveaux logements. Ils concerneraient au demeurant les logements répondant aux besoins prépondérant de la population, ce qui ne serait pas le cas des deux appartements en cause. S'il s'était agi de transformations, ces deux appartements auraient échappé à tout contrôle des loyers en application de l'art. 10 al. 2 LDTR.
4. Il y a arbitraire, prohibé par l'art. 9 Cst., lorsque la décision attaquée viole gravement une règle ou un principe juridique clair et indiscuté ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice ou de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction évidente avec la situation de fait, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Par ailleurs, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat (ATF 131 I 57 consid. 2 p. 61 et la jurisprudence citée), ce qu'il appartient au recourant de démontrer en vertu de l'art. 106 al. 2 LTF (ATF 134 I 263 consid. 3.1 p. 265; 133 I 149 consid. 3.1 p. 153 et la jurisprudence citée).
4.1 L'art. 10 LDTR autorise le département à fixer "le montant maximum des loyers après travaux". S'il ne précise pas les modalités de fixation des loyers autorisés, il n'interdit pas pour autant que ceux-ci soient fixés par pièces. La loi recourt d'ailleurs à ce critère lorsqu'elle définit les loyers correspondant aux besoins prépondérants de la population (art. 6 al. 3 et 9 al. 3 LDTR). On ne voit pas dès lors ce qui empêchait le département de fixer un prix maximum par pièces, ce qui permettait d'éviter des disparités trop grandes dans le loyer des différents appartements. Il n'y a pas d'arbitraire sur ce point.
4.2 Le recourant tient aussi l'arrêt attaqué pour arbitraire dans son résultat, dans la mesure où il n'aurait pas dépassé l'état locatif global qui lui avait été imposé. Le recourant prétend avoir voulu tenir compte des qualités particulières de l'appartement de 9,5 pièces, justifiant un loyer plus élevé. Tenu à rembourser le loyer excédentaire pour un appartement, sans pouvoir compenser rétroactivement sur l'autre, il serait empêché de percevoir le rendement global qui avait été autorisé.
Le recourant méconnaît à nouveau que la fixation d'un loyer maximum par pièces ressortait, on l'a vu, suffisamment clairement de la décision du département. Celle-ci, qui n'a d'ailleurs pas été contestée, est fondée sur le mode de calcul précisé à l'art. 11 LDTR, et n'autorisait pas le recourant à appliquer ses propres critères commerciaux. Le recourant a ainsi pris l'initiative d'appliquer un loyer par pièces différencié entre les deux nouveaux appartements, ce qui comportait le risque de rendre l'un des appartements moins accessible, contrairement au but recherché par la loi. Même s'il n'a pas agi dans un dessein particulier d'enrichissement, il n'y a rien d'arbitraire à ce qu'il doive en définitive assumer ce risque.
5. Sur le vu de ce qui précède, le recours doit être rejeté, aux frais de son auteur (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Département des constructions et des technologies de l'information et au Tribunal administratif du canton de Genève.
Lausanne, le 10 novembre 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz