Faits:
A. A._ est propriétaire d'un appartement de cinq pièces situé au 5ème étage de l'immeuble X._ à Genève. Cet appartement a été loué de 1995 à 2008 à B._ et C._ pour un loyer annuel de 30'000 francs, charges comprises. Dès le 1er juillet 2009, A._ a loué ledit appartement à D._ et E._ pour un loyer annuel de 54'000 francs, charges incluses.
Le 30 juin 2009, l'Association genevoise de défense des locataires (l'ASLOCA) a écrit à la police des constructions du Département des constructions et des technologies de l'information du canton de Genève (ci-après: le Département): elle était chargée de la défense des anciens locataires du logement en cause, qui avaient appris la rénovation complète de l'appartement, en lisant la presse. Les travaux n'avaient pas été soumis à autorisation au sens de la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation du 25 janvier 1996 (LDTR; RSG L 5 20). Sur requête de l'Office des autorisations de construire du Département, A._ a présenté ses observations sur les travaux qu'il avait fait réaliser dans l'appartement: il s'agissait de travaux d'entretien non soumis à la LDTR, dont le coût total s'était élevé à 114'907,45 francs dont 99'907 francs à sa charge.
Le 4 septembre 2009, le Département a considéré que la nature et l'ampleur des travaux effectués démontraient qu'il s'agissait de travaux d'entretien différés dans le temps, assujettis à la LDTR. A._ disposait d'un délai de trente jours pour déposer une requête ayant pour objet les travaux précités. Après avoir présenté une demande d'autorisation de construire en procédure accélérée, A._ s'est vu octroyer l'autorisation de construire sollicitée, le 14 janvier 2010: le loyer maximum autorisé, de 30'000 francs par an conformément à l'art. 9 LDTR, devait être appliqué avec effet rétroactif à partir du 1er juillet 2009, date de la prise de location de l'appartement. L'ordre était donné à A._ en application des art. 44 LDTR et 129 ss de la loi sur les constructions et installations diverses (LCI; RSG L 5 05), de rétablir une situation conforme au droit dans un délai de trente jours à compter de la date de la délivrance de l'autorisation de construire par l'établissement d'un nouveau bail, respectant cette condition, et de rembourser le trop-perçu au locataire concerné. Une amende administrative de 1'000 francs lui était en outre infligée.
B. A._ a recouru contre cette décision auprès de la Commission cantonale de recours en matière administrative du canton de Genève (ci-après: la Commission, devenue depuis le 1er janvier 2011 le Tribunal administratif de première instance). Par décision du 15 juin 2010, la Commission a admis partiellement le recours en ce sens que le loyer de l'appartement n'excédera pas, après les travaux, 36'399 francs par an et que l'ordre d'établir un nouveau contrat de bail et de remboursement du trop-perçu devra être rectifié dans cette mesure. Elle l'a rejeté pour le surplus.
C. A._ et le Département ont tous deux interjeté recours contre cette décision auprès du Tribunal administratif du canton de Genève (devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice du canton de Genève [ci-après: la Cour de justice]). Par arrêt du 19 avril 2011, la Cour de justice a rejeté le recours interjeté par A._, admis le recours du Département et rétabli la décision de celui-ci du 14 janvier 2010.
D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement d'annuler l'arrêt du 19 avril 2011, de constater la nullité des procédures administratives APA-32061-5 et I/4507 ouvertes par le Département concernant son appartement, d'ordonner au Département de lui délivrer une autorisation de construire pour les travaux effectués, de renoncer à la fixation du loyer selon la LDTR et de dire qu'aucune amende ne lui sera infligée. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
La Cour de justice renonce à se déterminer et persiste dans les considérants de son arrêt. Le Département conclut au rejet du recours. Le recourant a présenté de nouvelles observations, par courrier du 19 juillet 2011.
Considérant en droit:
1. Déposé en temps utile (art. 100 al. 1 et 46 al. 1 let. b LTF) contre une décision rendue dans le domaine du droit public des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant a pris part à la procédure de recours devant la Cour de justice et se voit imposer le remboursement de sommes perçues à titre de loyer ainsi que la conclusion d'un nouveau contrat de bail: il a donc la qualité pour agir au sens de l'art. 89 al. 1 LTF.
2. Dans un grief d'ordre formel, le recourant se plaint d'une appréciation arbitraire des faits.
2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Quant au recourant, il ne peut critiquer la constatation de faits, susceptibles d'avoir une influence déterminante sur l'issue de la procédure, que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (art. 97 al. 1 LTF; ATF 137 I 58 consid. 4.1.2 p. 62 ; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135).
2.2 Le recourant relève que dans la lettre du 30 juin 2009, l'ASLOCA écrivait être chargée de la défense des intérêts des anciens locataires, sans communiquer leurs noms. Il reproche à l'instance précédente d'avoir nommé ces anciens locataires, dans l'état de fait de son arrêt. En procédant de la sorte, la Cour de justice aurait contourné l'application de l'art. 10A de la loi sur la procédure administrative du 12 septembre 1985 (LPA/GE; RSG E 5 10).
La Cour de justice ne s'est toutefois pas fondée sur le nom des anciens locataires pour examiner l'application de l'art. 10A LPA/GE, mais sur celui de l'avocat qui signe la lettre de dénonciation (cf. infra consid. 3.2). Dans ces conditions, vu le raisonnement qui suit, une éventuelle correction de l'état de fait litigieux ne permettrait pas de trancher différemment la question de l'application arbitraire de l'art. 10A LPA/GE. Faute d'avoir une influence déterminante sur l'issue de la procédure, ce grief doit être écarté.
3. Le recourant prétend que la dénonciation de l'ASLOCA quant aux travaux litigieux alors que celle-ci n'a pas indiqué le nom des anciens locataires qui lui avaient rapporté l'information, devrait être considérée comme anonyme. Il se plaint d'une application arbitraire de l'art. 10A LPA/GE.
3.1 A teneur de l'art. 10A LPA/GE, "toute personne peut porter à la connaissance des autorités des faits susceptibles d'entraîner l'ouverture d'une procédure administrative. Toutefois, l'autorité ne donne aucune suite aux dénonciations anonymes".
Appelé à revoir l'interprétation d'une norme sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.; 134 II 124 consid. 4.1 p. 133).
3.2 La Cour de justice a considéré que la dénonciation de l'ASLOCA du 30 juin 2009 avait été signée par Me F._ et qu'elle n'était pas anonyme parce que son auteur était connu.
Le recourant tente de mettre en cause cette interprétation, en arguant que la lettre de dénonciation du 30 juin 2009 avait été signée par Me F._ de l'ASLOCA, au nom et pour le compte de ses mandants qui, eux, sont restés inconnus du Département. Ignorant le nom desdits mandants, le Département ne pouvait ouvrir une procédure sans violer l'art. 10A LPA/GE. Cette disposition serait vidée de son contenu si on devait admettre qu'il suffirait de faire parvenir une dénonciation à l'administration genevoise en qualité de représentant d'une personne dont le nom ne serait pas dévoilé, pour valablement ouvrir une procédure administrative.
Ces critiques ne sont cependant pas de nature à démontrer le caractère manifestement insoutenable de l'argumentation de l'instance précédente. En considérant que le Département n'avait pas violé l'art. 10A LPA/GE en donnant suite à la dénonciation dont l'auteur était identifié, la Cour de justice n'a pas fait preuve d'arbitraire au sens de la jurisprudence susmentionnée.
4. Le recourant se plaint ensuite d'une application arbitraire de l'art. 10 LDTR.
4.1 L'art. 10 al. 1 LDTR autorise le département à fixer "le montant maximum des loyers après travaux". Le département renonce cependant à la fixation des loyers et des prix prévue à l'alinéa 1 lorsque cette mesure apparaît disproportionnée, notamment lorsque les loyers après transformations demeurent peu élevés (art. 10 al. 2 let. a LDTR) ou lorsque les logements à transformer sont des logements de luxe ou que leurs loyers dépassent d'ores et déjà d'au moins deux fois et demie les besoins prépondérants de la population (art. 10 al. 2 let. b LDTR).
A la date du dépôt de la demande d'autorisation de construire, un loyer correspondant aux besoins prépondérants de la population était compris entre 2'503 et 3'363 francs la pièce par an (arrêté du Conseil d'Etat du canton de Genève relatif à la révision des loyers répondant aux besoins prépondérants de la population du 21 juin 2006).
4.2 En l'espèce, la Cour de justice a retenu que "le loyer après travaux restait peu élevé puisqu'il était de 36'339 francs l'an, soit 7'280 francs la pièce l'an". Elle a conclu que "de ce fait, c'est de manière proportionnée que le Département avait pris une mesure de fixation du loyer après travaux et l'avait invoquée comme condition de l'autorisation de construire". Ce raisonnement est contradictoire: après avoir retenu que "le loyer après travaux restait peu élevé", l'instance précédente en a déduit que la fixation du loyer était proportionnée. Or, l'art. 10 al. 2 let. a LDTR prévoit expressément qu'il est renoncé à la fixation des loyers en particulier "lorsque les loyers après transformation demeurent peu élevés". L'instance précédente a donc procédé à une application insoutenable de l'art. 10 al. 2 let. a LDTR. Le grief tiré d'une violation arbitraire de cette disposition est bien fondé.
Par ailleurs, on peine à suivre la Cour de justice lorsqu'elle retient comme loyer annuel le montant de 36'339 [recte 36'399] francs par an, soit le loyer annuel théorique après travaux tel que calculé par le Département dans la fiche technique du 21 octobre 2009 établie par la cellule LDTR et tel que retenu par la Commission, alors que le loyer annuel fixé par le propriétaire et accepté par les locataires actuels est de 54'000 francs.
Enfin, l'instance précédente a retranscrit inexactement le contenu de l'art. 10 al. 2 let. b LDTR, au considérant 7.b de l'arrêt attaqué: elle a exposé que le Département renonce à la fixation des loyers notamment lorsque le "loyer dépasse après travaux d'au moins deux fois et demie les besoins prépondérants de la population", alors qu'il s'agit du loyer avant travaux. Dans la subsomption, elle se fonde d'ailleurs sur le loyer avant travaux.
5. Il s'ensuit que le recours est admis, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant. L'arrêt attaqué est annulé et la cause est renvoyée à la Chambre administrative de la Cour de justice pour nouvelle décision exempte de contradictions et conforme à l'art. 10 LDTR. Il n'y a pas lieu de percevoir de frais judiciaires (art. 66 al. 4 LTF). L'Etat de Genève versera en revanche une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la Chambre administrative de la Cour de justice pour nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 1'500 francs est allouée au recourant, à titre de dépens, à la charge de l'Etat de Genève.
4. Le présent arrêt est communiqué au mandataire du recourant, au Département des constructions et des technologies de l'information et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 3 octobre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller