Faits: A. A._ est propriétaire d'un appartement de cinq pièces situé au 5ème étage de l'immeuble X._ à Genève. Cet appartement a été loué de 1995 à 2008 à B._ et C._ pour un loyer annuel de 30'000 francs, charges comprises. Dès le 1er juillet 2009, A._ a loué ledit appartement à D._ et E._ pour un loyer annuel de 54'000 francs, charges incluses. Le 30 juin 2009, l'Association genevoise de défense des locataires (l'ASLOCA) a écrit à la police des constructions du Département des constructions et des technologies de l'information du canton de Genève (ci-après: le Département): elle était chargée de la défense des anciens locataires du logement en cause, qui avaient appris la rénovation complète de l'appartement, en lisant la presse. Les travaux n'avaient pas été soumis à autorisation au sens de la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation du 25 janvier 1996 (LDTR; RSG L 5 20). Sur requête de l'Office des autorisations de construire du Département, A._ a présenté ses observations sur les travaux qu'il avait fait réaliser dans l'appartement: il s'agissait de travaux d'entretien non soumis à la LDTR, dont le coût total s'était élevé à 114'907,45 francs dont 99'907 francs à sa charge. Le 4 septembre 2009, le Département a considéré que la nature et l'ampleur des travaux effectués démontraient qu'il s'agissait de travaux d'entretien différés dans le temps, assujettis à la LDTR. A._ disposait d'un délai de trente jours pour déposer une requête ayant pour objet les travaux précités. Après avoir présenté une demande d'autorisation de construire en procédure accélérée, A._ s'est vu octroyer l'autorisation de construire sollicitée, le 14 janvier 2010: le loyer maximum autorisé, de 30'000 francs par an conformément à l'art. 9 LDTR, devait être appliqué avec effet rétroactif à partir du 1er juillet 2009, date de la prise de location de l'appartement. L'ordre était donné à A._ en application des art. 44 LDTR et 129 ss de la loi sur les constructions et installations diverses (LCI; RSG L 5 05), de rétablir une situation conforme au droit dans un délai de trente jours à compter de la date de la délivrance de l'autorisation de construire par l'établissement d'un nouveau bail, respectant cette condition, et de rembourser le trop-perçu au locataire concerné. Une amende administrative de 1'000 francs lui était en outre infligée. B. A._ a recouru contre cette décision auprès de la Commission cantonale de recours en matière administrative du canton de Genève (ci-après: la Commission, devenue depuis le 1er janvier 2011 le Tribunal administratif de première instance). Par décision du 15 juin 2010, la Commission a admis partiellement le recours en ce sens que le loyer de l'appartement n'excédera pas, après les travaux, 36'399 francs par an et que l'ordre d'établir un nouveau contrat de bail et de remboursement du trop-perçu devra être rectifié dans cette mesure. Elle l'a rejeté pour le surplus. C. A._ et le Département ont tous deux interjeté recours contre cette décision auprès du Tribunal administratif du canton de Genève (devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice du canton de Genève [ci-après: la Cour de justice]). Par arrêt du 19 avril 2011, la Cour de justice a rejeté le recours interjeté par A._, admis le recours du Département et rétabli la décision de celui-ci du 14 janvier 2010. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement d'annuler l'arrêt du 19 avril 2011, de constater la nullité des procédures administratives APA-32061-5 et I/4507 ouvertes par le Département concernant son appartement, d'ordonner au Département de lui délivrer une autorisation de construire pour les travaux effectués, de renoncer à la fixation du loyer selon la LDTR et de dire qu'aucune amende ne lui sera infligée. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. La Cour de justice renonce à se déterminer et persiste dans les considérants de son arrêt. Le Département conclut au rejet du recours. Le recourant a présenté de nouvelles observations, par courrier du 19 juillet 2011.