Faits: A. A._ et B._ sont propriétaires de la parcelle n° 3651 du registre foncier de Genève-Petit-Saconnex. Sur ce bien-fonds est érigée une villa à affectation de logement et d'activité commerciale, dans laquelle A._ exploite un salon de beauté et de coiffure. Par décision du 16 mars 2006, le Département des constructions et des technologies de l'information (ci-après: le Département) a refusé l'autorisation de construire portant sur l'agrandissement du salon précité, notamment par l'aménagement des locaux en sous-sol, que les prénommés avaient sollicitée. La Commission cantonale de recours en matière de constructions (ci-après: la Commission) et le Tribunal administratif du canton de Genève ont confirmé cette décision par arrêts, respectivement du 30 octobre 2006 et du 8 mai 2007. B. Le 6 janvier 2009, l'Office cantonal de l'inspection et des relations du travail a informé le Département qu'à l'occasion d'une visite du salon de beauté, il avait constaté que des postes de travail avaient été aménagés dans les locaux sis au sous-sol du bâtiment. Par décision du 7 avril 2009, le Département a retenu que l'affectation à l'usage de salon des locaux en sous-sol initialement destinés à l'entreposage avait été faite sans autorisation, ce qui constituait une violation de la loi cantonale sur les constructions et les installations diverses (LCI; RSG L 5 05). Un délai de trente jours dès réception de la décision était imparti aux intéressés pour rétablir une situation conforme au droit. Par décision du 16 novembre 2009, la Commission a rejeté le recours formé par les intéressés contre cette décision. Ceux-ci ont recouru contre cette décision auprès du Tribunal administratif du canton de Genève (devenu depuis le 1er janvier 2011, la Chambre administrative de la Cour de justice [ci-après: la Cour de justice]). Celui-ci a procédé à une inspection locale le 19 février 2010 en présence des parties. Par arrêt du 18 janvier 2011, la Cour de justice a rejeté le recours. Elle a considéré en substance que l'ordre de mise en conformité poursuivait un intérêt public et respectait le principe de la proportionnalité. C. A._ et B._ ont recouru auprès du Tribunal fédéral contre cet arrêt qu'ils demandent d'annuler ainsi que la décision de la Commission du 16 novembre 2009 et la décision du Département du 7 avril 2009. Ils concluent subsidiairement à "acheminer les recourants à prouver par toutes voies de droit les faits articulés dans les présentes écritures". La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département conclut au rejet du recours, en précisant qu'à aucun moment durant la procédure de recours les recourants n'ont mis en évidence le fait qu'ils étaient actuellement en pourparlers pour que le plan localisé de quartier n° 29'452 puisse être mis en oeuvre. Les recourants ont répliqué par courrier du 2 mai 2011. D. Par ordonnance du 21 mars 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, formulée par les recourants.