Faits:
A. A._ et B._ sont propriétaires de la parcelle n° 3651 du registre foncier de Genève-Petit-Saconnex. Sur ce bien-fonds est érigée une villa à affectation de logement et d'activité commerciale, dans laquelle A._ exploite un salon de beauté et de coiffure.
Par décision du 16 mars 2006, le Département des constructions et des technologies de l'information (ci-après: le Département) a refusé l'autorisation de construire portant sur l'agrandissement du salon précité, notamment par l'aménagement des locaux en sous-sol, que les prénommés avaient sollicitée. La Commission cantonale de recours en matière de constructions (ci-après: la Commission) et le Tribunal administratif du canton de Genève ont confirmé cette décision par arrêts, respectivement du 30 octobre 2006 et du 8 mai 2007.
B. Le 6 janvier 2009, l'Office cantonal de l'inspection et des relations du travail a informé le Département qu'à l'occasion d'une visite du salon de beauté, il avait constaté que des postes de travail avaient été aménagés dans les locaux sis au sous-sol du bâtiment. Par décision du 7 avril 2009, le Département a retenu que l'affectation à l'usage de salon des locaux en sous-sol initialement destinés à l'entreposage avait été faite sans autorisation, ce qui constituait une violation de la loi cantonale sur les constructions et les installations diverses (LCI; RSG L 5 05). Un délai de trente jours dès réception de la décision était imparti aux intéressés pour rétablir une situation conforme au droit. Par décision du 16 novembre 2009, la Commission a rejeté le recours formé par les intéressés contre cette décision. Ceux-ci ont recouru contre cette décision auprès du Tribunal administratif du canton de Genève (devenu depuis le 1er janvier 2011, la Chambre administrative de la Cour de justice [ci-après: la Cour de justice]). Celui-ci a procédé à une inspection locale le 19 février 2010 en présence des parties. Par arrêt du 18 janvier 2011, la Cour de justice a rejeté le recours. Elle a considéré en substance que l'ordre de mise en conformité poursuivait un intérêt public et respectait le principe de la proportionnalité.
C. A._ et B._ ont recouru auprès du Tribunal fédéral contre cet arrêt qu'ils demandent d'annuler ainsi que la décision de la Commission du 16 novembre 2009 et la décision du Département du 7 avril 2009. Ils concluent subsidiairement à "acheminer les recourants à prouver par toutes voies de droit les faits articulés dans les présentes écritures".
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département conclut au rejet du recours, en précisant qu'à aucun moment durant la procédure de recours les recourants n'ont mis en évidence le fait qu'ils étaient actuellement en pourparlers pour que le plan localisé de quartier n° 29'452 puisse être mis en oeuvre. Les recourants ont répliqué par courrier du 2 mai 2011.
D. Par ordonnance du 21 mars 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, formulée par les recourants.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant la Cour de justice. Ils sont particulièrement touchés par l'arrêt attaqué qui confirme l'ordre de remise en état du sous-sol de leur villa: ils peuvent ainsi se prévaloir d'un intérêt digne de protection à ce que cette décision soit annulée. Ils ont donc qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2. Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Cette exclusion vaut non seulement pour les faits postérieurs à la décision attaquée, mais également pour ceux que les parties ont omis d'alléguer dans la procédure cantonale. Ces dernières sont en effet tenues de présenter devant les instances précédentes tous les faits qui leur paraissent pertinents et d'offrir les moyens de preuve adéquats (Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 p. 4137). Les diverses pièces produites comme preuves par les recourants (la lettre du 8 juin 2010 et le courriel daté d'avril 2011) ne figuraient pas au dossier de la Cour de justice. Elles ne résultent pas non plus de l'arrêt attaqué. Il n'en sera dès lors pas tenu compte.
3. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants estiment que la Cour de justice a fait preuve d'arbitraire dans la constatation des faits.
3.1 En principe, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Toutefois, selon l'<ref-law>, le recourant peut critiquer les constatations de faits à la double condition que ceux-ci aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce qu'il doit rendre vraisemblable par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 1.4.3 p. 254 s.).
Les parties ne sont donc pas autorisées à présenter une nouvelle version des faits qui pourrait conduire à une solution juridique différente du litige. Un complément des faits n'entre en considération que si la décision attaquée ne contient pas les constatations nécessaires à l'application du droit fédéral, alors que les faits pertinents passés sous silence ont été allégués en conformité avec les règles fixées par la procédure cantonale. Il appartient au recourant de démontrer que ces faits ont été allégués correctement à défaut de quoi ils sont considérés comme nouveaux au sens de l'<ref-law> et, partant, irrecevables (cf. <ref-ruling> consid. 3.2.2 p. 96; arrêt 4A_11/2009 du 27 mars 2009 consid. 1).
L'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 2.2.2 p. 318 s.; <ref-ruling> consid. 1.3 p. 4; <ref-ruling> consid. 3.1 p. 266; <ref-ruling> consid. 5.1 p. 17; <ref-ruling> consid. 2.1 p. 219, 57 consid. 2 p. 61; <ref-ruling> consid. 3.1 p. 178).
3.2 Dans une argumentation inédite, les recourants estiment que des "faits importants, notamment les progrès dans le cadre de la réalisation du plan localisé de quartier [n° 29452] ont été totalement ignorés alors qu'ils sont sous-jacents mais déterminants dans le cadre de la présente procédure". Ils relèvent en particulier le fait qu'ils sont actuellement en pleine tractation notamment avec la Fondation pour la promotion du logement bon marché et de l'habitat coopératif et que des pourparlers déterminants sont en cours avec le propriétaire de la parcelle contiguë n° 3304. Ils avancent qu'une "solution de rechange pour le salon de coiffure et de beauté est même envisagée proche du centre de Balexert", que dès la réalisation du plan localisé de quartier, une arcade devrait leur être attribuée, afin de leur permettre de continuer leur activité. Ces éléments sont mentionnés pour la première fois devant le Tribunal de céans. Or, le Tribunal fédéral n'est pas une autorité d'appel habilitée à revoir librement les faits et à tenir compte de circonstances nouvelles. Pareilles allégations ne ressortent ni du recours formé le 6 mai 2009 auprès de la Commission, ni du recours interjeté le 11 décembre 2009 auprès du Tribunal administratif. Elles ne trouvent par ailleurs aucun appui dans le dossier cantonal. La Cour de justice ne pouvait déduire une telle argumentation du seul fait que lors du transport sur place du 19 février 2010, A._ a déclaré être prête à partir "dès qu'il y aura un projet précis de plan localisé de quartier, sans indemnité pour la plus-value du salon" et souhaiter "continuer son activité jusqu'à ce qu'il y ait un projet concret de construction". Les conditions pour que le Tribunal fédéral puisse tenir compte de ces éléments ne sont donc pas réunies. Le grief doit être écarté.
4. Les recourants ne contestent pas que les travaux litigieux aient été effectués sans autorisation. Ils prétendent uniquement que l'ordre de mise en conformité ne respecte pas le principe de la proportionnalité. A cet égard, ils font valoir qu'ils ont tout intérêt à la réalisation du plan localisé de quartier et à la continuation de leur activité au sous-sol de leur villa pour les quelques mois à venir. Le maintien de l'état actuel ne saurait porter atteinte à aucun intérêt, ni public ni privé.
4.1 Conformément aux art. 129 let. e et 130 LCI, lorsqu'une construction ou une installation n'est pas conforme aux prescriptions de la LCI, le Département peut ordonner la remise en état, la réparation, la modification, la suppression ou la démolition.
Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne peut être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35 ; <ref-ruling> consid. 3a/bb p. 252; <ref-ruling> consid. 6b p. 224 s.; <ref-ruling> consid. 4 p. 69). Même un constructeur qui n'est pas de bonne foi peut invoquer le principe de la proportionnalité. Toutefois, celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF <ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 6b p. 224 et la jurisprudence citée).
4.2 En l'occurrence, la Cour de justice a considéré à juste titre que les recourants avaient entrepris les travaux litigieux alors qu'ils ne pouvaient ignorer qu'ils violaient la loi: leur demande d'autorisation en vue d'agrandir le salon de beauté notamment par l'aménagement du sous-sol avait été refusée en 2006, la décision devenant définitive en 2007, après qu'ils aient recouru en vain auprès de deux instances judiciaires. Le motif du refus était que le projet d'agrandissement compromettait des objectifs d'urbanisme concrétisés par un plan localisé de quartier, la villa des recourants étant vouée à la démolition par ce dernier pour favoriser la construction de logements. Les recourants ont ainsi pris sciemment le risque d'ignorer des décisions claires, motivées par un intérêt public leur interdisant les aménagements auxquels ils ont néanmoins procédé. Dans ces circonstances, ils ne peuvent se prévaloir du principe de la bonne foi.
Ensuite, les recourants soutiennent à tort que le maintien de l'état actuel ne porte atteinte à aucun intérêt public: la Cour de justice a en effet retenu que les intérêts publics à prendre en compte sont d'une part, le respect des décisions administratives et judiciaires en force et d'autre part, la mise en oeuvre de la législation relative à l'aménagement du territoire. Enfin, vu la jurisprudence précitée, les recourants qui ont placé l'autorité devant un fait accompli doivent s'attendre à ce que celle-ci se préoccupe davantage de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour eux. Ce d'autant plus qu'ils ne prétendent pas que leur activité serait mise en péril par la remise en état du sous-sol de leur villa.
5. Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge des recourants qui succombent (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge des recourants.
3. Le présent arrêt est communiqué au mandataire des recourants, au Département des constructions et des technologies de l'information et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 24 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Tornay Schaller