Faits:
A. Par contrat du 20 mars 2006, X._ AG, a cédé à B._ et à A._, moyennant un loyer annuel de 42'144 fr., l'usage d'un appartement de six pièces au 4ème étage de l'immeuble sis ** rue de D._ à Genève, dont la construction s'est achevée au début 2006.
Le gérant de l'immeuble a dressé un avis officiel de fixation du loyer initial, mentionnant la date du 10 avril 2006 et la précédente adresse des locataires. Sous la rubrique "dernier loyer annuel", il a indiqué le montant du loyer convenu entre les parties et, sous la rubrique "depuis le", la date du 1er mai 2006, soit la date à partir de laquelle le loyer était dû. La rubrique destinée à la mention du loyer initial est restée vierge. Comme motif de fixation du loyer, il a été fait référence à l'art. 269a let. c CO, avec cette précision que la lettre "a" a été écrite en majuscule, et non pas en minuscule comme dans le texte de la loi. Il était par ailleurs indiqué qu'il s'agissait d'une "première location". Les locataires savaient qu'ils étaient les premiers occupants de l'appartement, la construction du bâtiment s'étant terminée au début 2006.
La date de réception de cet avis officiel est litigieuse. Entendue en cours de procédure, la locataire a déclaré: "Nous avons pris possession du logement le 1er mai 2006. Le bail a été signé le 21 mars 2006. Je ne me souviens pas à quelle date j'ai reçu l'avis de fixation du loyer initial, lequel est daté du 10 avril 2006. En tout cas je ne l'ai pas reçu avec le bail, mais bien plus tard. Je pense même que j'étais déjà dans l'appartement. Je suis certaine que c'était au mois de mai 2006, et non pas plus tard". Sur la base de cette déclaration, il a été retenu que les locataires avaient pris possession du logement le 1er mai 2006 et que l'avis officiel leur avait été remis dans les trente jours, soit durant le mois de mai 2006.
Les locataires ont reçu un avis officiel de majoration du loyer, daté du 14 janvier 2009, augmentant le loyer annuel de l'appartement à 45'216 fr. dès le 1er mai 2009.
B. Les locataires ont présenté, le 16 février 2009, une requête à la Commission de conciliation en matière de baux et loyers comportant trois objets: ils ont demandé la fixation judiciaire du loyer initial, ils se sont opposés à la hausse de loyer et ils ont requis une baisse dudit loyer.
La cause n'ayant pas été conciliée lors de l'audience du 16 septembre 2009, les locataires ont saisi le Tribunal des baux et loyers du canton de Genève par demande déposée le 18 septembre 2009.
En cours de procédure, ils ont retiré leurs conclusions tendant à la baisse du loyer. Par ailleurs, ils n'ont pas persisté à conclure à l'annulation de la hausse de loyer notifiée par avis du 14 janvier 2009. Ainsi, seule restait litigieuse la contestation du loyer initial.
Par jugement du 22 avril 2010, le Tribunal des baux et loyers a déclaré irrecevable la contestation du loyer initial, estimant qu'elle avait été formulée tardivement.
Saisie par les locataires, la Chambre d'appel en matière de baux et loyers de la Cour de justice de Genève, par arrêt du 17 janvier 2011, a rejeté l'appel avec suite de frais.
C. Les locataires exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 17 janvier 2011. Invoquant l'arbitraire (art. 9 Cst.) dans l'établissement des faits, la violation du droit d'être entendu sous la forme du droit à une décision motivée (art. 29 al. 2 Cst.), ainsi qu'une violation des art. 270 CO, 19 OBLF, 8 CC, 274d al. 3 CO, 435 de l'ancienne loi de procédure civile genevoise du 10 avril 1987 (aLPC/GE) et 112 LTF, ils ont conclu, sous suite de dépens, à l'annulation de l'arrêt attaqué et à ce que le loyer annuel soit fixé à 32'700 fr. dès le 1er mai 2006, le trop-perçu devant être restitué avec intérêts à 5% dès la date moyenne du 15 octobre 2008; subsidiairement, ils ont demandé le renvoi de la cause à l'autorité précédente.
L'intimée a conclu, avec suite de dépens, au rejet du recours dans la mesure où il est recevable.

Considérant en droit:
1. 1.1 Lorsque, comme c'est le cas en l'espèce, le litige porte sur le montant du loyer en présence d'un contrat de bail congéable, il faut, pour déterminer la valeur litigieuse, prendre en compte la part contestée du loyer annuel et la multiplier par vingt (art. 51 al. 4 LTF; <ref-ruling> consid. 1 p. 399; <ref-ruling> consid. 1 p. 424). Il n'est donc pas douteux que la valeur litigieuse minimale de 15'000 fr. requise en matière de droit du bail par l'art. 74 al. 1 let. a LTF est ici atteinte.
Interjeté par les parties qui ont succombé dans leurs conclusions tendant à ce que leur loyer annuel soit fixé à 32'700 fr. au lieu de 42'144 fr. et qui ont donc qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance statuant sur recours (art. 75 LTF), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. En conséquence, il peut également être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: ATF <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401 - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). En particulier, si le recourant invoque l'arbitraire dans les constatations de fait, il doit indiquer de manière précise, en se référant si possible à des pièces du dossier, en quoi l'état de fait dressé par la cour cantonale heurterait de manière choquante le résultat univoque de l'administration des preuves (cf. <ref-ruling> consid. 2.2 p. 246). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Les recourants invoquent l'arbitraire dans les constatations de fait. Ils soutiennent que la cour cantonale aurait arbitrairement retenu que l'avis de fixation du loyer initial leur avait été envoyé à leur ancienne adresse, alors que rien n'établit cet envoi.
2.1.1 Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.; <ref-ruling> consid. 4.2 p. 560).
S'agissant plus précisément de l'appréciation des preuves, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait une déduction insoutenable (<ref-ruling> consid. 2.1 p. 9).
2.1.2 La bailleresse avait évidemment soutenu qu'elle avait envoyé l'avis de fixation du loyer initial daté du 10 avril 2006 à l'ancienne adresse des locataires, où ils habitaient à cette époque. Elle alléguait donc qu'ils avaient reçu cet avis dans les jours qui ont suivi cette date. N'ignorant pas qu'il incombait à la bailleresse de prouver la réception de ce document, la cour cantonale a constaté qu'elle n'était pas en mesure d'apporter cette preuve et elle n'a pas exclu que les locataires n'aient reçu le document - comme la locataire l'a elle-même déclaré - que durant le mois de mai 2006. Dès lors que les locataires admettaient avoir reçu ce document en mai 2006 et que la cour cantonale s'est fondée sur cette affirmation, il n'y a plus aucun intérêt à déterminer où et par quelle voie ils l'ont reçu. La question de la date d'envoi ou de l'adresse des locataires est donc sans pertinence. Le point soulevé étant impropre à influer sur le sort de la cause (art. 97 al. 1 LTF), il n'y a pas lieu de procéder à une rectification de l'état de fait.
2.1.3 Les recourants soutiennent ensuite que la cour cantonale a arbitrairement retenu qu'ils étaient entrés en possession de leur nouvel appartement le 1er mai 2006, alors que, disent-ils, la remise des clés a eu lieu le 28 avril 2006.
Il faut tout d'abord relever que l'arrêt cantonal ne parle pas d'une remise des clés le 28 avril 2006. Les recourants ajoutent ainsi un fait qui n'est pas contenu dans l'arrêt attaqué. Ils devaient donc établir que ce fait résultait indiscutablement de l'administration des preuves et qu'il avait été omis de manière insoutenable.
Les recourants se réfèrent à une pièce n° 5 qu'ils ont produite dans la procédure cantonale. Il s'agit d'une lettre du gérant de l'immeuble datée du 20 mars 2006 qui indique que les locataires devront fournir une garantie bancaire de 10'536 fr. lors de la date de prise de possession des locaux fixée au 28 avril 2006 à 11h00 sur place. Ce document n'a pas été ignoré par la cour cantonale, puisqu'il est mentionné à la page 2 de l'arrêt attaqué. Il est toutefois évident qu'un rendez-vous, surtout fixé longtemps à l'avance, peut être reporté. La lettre produite établit certes qu'un rendez-vous a été fixé, mais elle ne permet pas de prouver que ce rendez-vous a eu lieu effectivement et encore moins que les clés ont été remises en cette occasion.
Les recourants soutiennent que leur partie adverse aurait admis que la remise des clés a eu lieu le 28 avril 2006. Ils ne citent cependant pas de manière précise un passage de leurs écritures où l'on pourrait constater qu'ils ont allégué - conformément à la procédure cantonale encore applicable (art. 404 al. 1 CPC) - que la remise des clés a eu lieu le 28 avril 2006. Ils ne citent pas davantage un passage des écritures de leur partie adverse d'où l'on pourrait déduire que celle-ci a admis ou non contesté l'allégué. La motivation présentée ne répond donc pas aux exigences de précision découlant, en matière d'arbitraire, de l'art. 106 al. 2 LTF. On ne saurait donc dire que la cour cantonale a omis un fait qui résultait de manière indiscutable du dossier.
Pour déterminer la date d'entrée en possession, la cour cantonale ne pouvait se fonder exclusivement sur la pièce produite par les recourants, mais elle devait apprécier l'ensemble des preuves apportées. Or, la locataire elle-même a déclaré, en audience, que les locataires avaient pris possession du logement le 1er mai 2006. On ne voit pas ce qu'il y a d'arbitraire à la croire. On observera qu'elle parle d'une prise de possession, et non pas d'un déménagement. Il faut encore remarquer que cette date du 1er mai 2006 correspond à celle figurant sur l'avis de fixation du loyer initial, date à partir de laquelle le loyer était dû. Sur la base de l'ensemble de ces éléments, en particulier la déclaration de la locataire, on ne peut pas dire que la cour cantonale soit tombée dans l'arbitraire - au sens de la définition rappelée ci-dessus - en retenant que l'entrée en possession avait eu lieu le 1er mai 2006.
Le grief soulevé est donc infondé.
2.2 Selon l'art. 270 al. 1 CO, le locataire qui estime abusif le montant du loyer initial peut le contester devant l'autorité de conciliation dans les trente jours qui suivent la réception de la chose.
Les délais fixés par la loi pour contester un loyer sont des délais de péremption, dont le non-respect entraîne la perte du droit d'agir et doit être examiné d'office par le juge (<ref-ruling> consid. 3.2 p. 570).
Selon les constatations cantonales - qui lient le Tribunal fédéral dès lors que l'arbitraire n'a pas été établi (art. 105 al. 1 LTF) -, les locataires sont entrés en possession de leur nouveau logement le 1er mai 2006, de sorte que leur contestation devant l'autorité de conciliation déposée le 16 février 2009 est manifestement tardive.
Il est vrai que le canton de Genève, faisant usage de la faculté offerte par l'art. 270 al. 2 CO, a rendu obligatoire l'usage de la formule officielle (art. 24 de l'ancienne loi genevoise d'application du code civil et du code des obligations du 7 mai 1981 ; cf. également l'art. 24 de la loi d'application du code civil suisse et autres lois fédérales en matière civile du 28 novembre 2010, entrée en vigueur le 1er janvier 2011).
La bailleresse devait donc adresser aux locataires une formule, dont le contenu correspond par analogie aux exigences posées en cas de hausse de loyer par les art. 269d CO et 19 OBLF (cf. art. 19 al. 3 OBLF). Lorsqu'un appartement fait l'objet d'une première location, il convient d'indiquer sur la formule officielle qu'il n'y a pas de précédent locataire et qu'il s'agit d'une première location; si la formule n'est pas notifiée ou si elle n'est pas remplie d'une manière conforme aux exigences, le contrat est nul en tant qu'il détermine le loyer (arrêt 4A_185/2008 du 24 septembre 2008 consid. 2.1).
La formule doit être notifiée au plus tard le jour de la remise de la chose louée au locataire (<ref-ruling> consid. 2b p. 58).
La cour cantonale a retenu, sur la base des déclarations de la locataire, qu'il était possible qu'elle soit entrée en possession de la formule officielle durant le mois de mai 2006, mais en tout cas pas plus tard. Ce point n'est pas discuté par les recourants. Il faut donc constater que la notification est intervenue après l'entrée en possession (fixée sans arbitraire par la cour cantonale au 1er mai 2006), de sorte qu'elle était tardive.
Confrontée à une telle situation, la jurisprudence a considéré que la tardiveté de la notification n'entraînait pas la nullité du loyer convenu, mais qu'il fallait admettre, le locataire n'ayant pas été correctement informé de son droit de saisir l'autorité de conciliation, que le délai de trente jours prévu par l'art. 270 al. 1 CO ne commençait à courir qu'à compter de la réception de la formule officielle (<ref-ruling> consid. 2c p. 58 et 59). Certains auteurs ont critiqué cette jurisprudence, en considérant que les cantons ne pouvaient pas, en exigeant l'emploi d'une formule officielle, déroger au point de départ du délai fixé par l'art. 270 al. 1 CO (PETER HIGI, Zürcher Kommentar, 1994, n°s 116 et 117 ad art. 270 CO; SVIT- Kommentar Mietrecht, 3e éd. 2008, n° 40 ad art. 270 CO).
Si l'on considère que la notification est intervenue au plus tard le 31 mai 2006, il faut admettre, en application de cette jurisprudence, que l'autorité de conciliation devait être saisie dans les trente jours qui suivent. La requête déposée le 16 février 2009 est donc dans tous les cas tardive.
Pour essayer d'échapper à cette conclusion, les recourants soutiennent d'une part que la formule officielle n'a pas été correctement remplie et, d'autre part, qu'elle a été notifiée trop tardivement.
2.2.1 Les recourants semblent se plaindre que la formule officielle n'ait pas été accompagnée d'une lettre de la bailleresse. L'art. 19 al. 1bis OBLF envisage l'éventualité d'une lettre d'accompagnement, mais aucune disposition du droit fédéral n'en fait une obligation. D'ailleurs la formule officielle est suffisamment explicite - ce que les recourants ne contestent pas - pour qu'ils puissent comprendre aisément qu'ils disposent d'un délai de trente jours pour contester le loyer auprès de l'autorité de conciliation. Ce premier grief est donc dépourvu de tout fondement.
Il a été constaté - sans que les recourants n'invoquent à ce sujet l'arbitraire - qu'ils savaient qu'ils entraient dans un logement neuf et qu'il n'y avait pas de précédent locataire. La formule officielle portait, sans équivoque, la mention "première location". Les locataires connaissaient déjà, par la conclusion du contrat de bail, le montant de leur loyer et la date à partir de laquelle il était dû. Ils savaient qu'il n'y avait aucun précédent locataire.
Il est vrai que le gérant n'a pas rempli la formule intelligemment en faisant apparaître la date du début du contrat d'espèce (le 1er mai 2006) et le montant du loyer convenu entre les parties (42'144 fr.) comme s'il s'agissait du précédent contrat de bail. Toutefois, les locataires, par leur connaissance de la situation, pouvaient facilement comprendre que l'on visait ainsi leur propre contrat et on ne voit pas qu'ils aient pu être induits en erreur d'une manière qui soit de nature à les dissuader d'agir en temps utile.
Le fondement du loyer fixé, à savoir l'art. 269a let. c CO, était suffisant, s'agissant d'un critère absolu pour la fixation du loyer qui est précisément conçu pour les loyers initiaux (DAVID LACHAT, Le bail à loyer, nouvelle éd. 2008, n. 6.2 p. 488). Que la lettre "a" ait été écrite en majuscule plutôt qu'en minuscule est une erreur de plume qui ne peut tromper personne.
Surtout, l'avis officiel indiquait clairement - ce qui n'est pas contesté - que les locataires, s'ils entendaient s'opposer au loyer convenu, devaient agir dans les trente jours devant l'autorité de conciliation. Ils ne pouvaient donc pas leur échapper qu'ils avaient une voie pour saisir l'autorité, mais qu'ils devaient agir rapidement.
Rien ne pouvait donner à penser que la possibilité de saisir l'autorité de conciliation n'existait pas pour le motif qu'il s'agissait d'un logement neuf. Si les locataires n'ont pas lu ou ont mal lu la formule officielle, ils ne peuvent s'en prendre qu'à eux-mêmes.
La formule officielle était donc suffisante pour renseigner correctement les locataires sur leurs droits et elle a fait courir, dès réception de ce document au plus tard le 31 mai 2006, le délai de trente jours, conformément à la jurisprudence citée (<ref-ruling> consid. 2c p. 59).
2.2.2 Pour prévenir des abus de la part des bailleurs, la jurisprudence déjà citée n'a pas voulu que ces derniers puissent notifier la formule officielle n'importe quand; elle a donc précisé qu'une notification qui interviendrait plus de trente jours après l'entrée en possession devrait être assimilée à une absence de notification (<ref-ruling> consid. 2c p. 59 in fine). Ce délai a été régulièrement répété dans les arrêts ultérieurs (cf. par exemple: arrêt 4A_185/2008 déjà cité consid. 2.1; arrêt 4A_214/2007 du 12 novembre 2007 consid. 3).
Selon les constatations cantonales - qui lient le Tribunal fédéral et au sujet desquelles l'arbitraire n'a pas été démontré (cf. art. 105 LTF) -, l'entrée en possession a eu lieu le 1er mai 2006 et la formule officielle a été notifiée au plus tard le 31 mai 2006. Le délai posé par la jurisprudence a donc été respecté, ce qui coupe court à la discussion.
Une remarque supplémentaire s'impose cependant. La jurisprudence a fixé un délai de trente jours parce qu'elle n'a pas voulu que les bailleurs puissent notifier n'importe quand la formule officielle et adopter ainsi un comportement qui pourrait être qualifié d'abusif. Le principe de la bonne foi (art. 2 CC) s'impose cependant aux deux parties. Si le délai de trente jours fixé au bailleur par la jurisprudence n'a pas été respecté, cela ne signifie pas, sous l'angle du principe de la bonne foi, que le locataire, après avoir reçu la formule lui indiquant qu'il dispose d'un délai de trente jours pour agir, puisse déposer sa demande n'importe quand. Les recourants sont mal venus pour reprocher à la bailleresse, selon leur état de fait, un retard de trois jours, alors qu'eux-mêmes ont réagi avec un retard de plus de deux ans et demi.
2.3 Les recourants se plaignent également d'une violation de l'art. 8 CC.
En l'absence d'une disposition spéciale instituant une présomption, l'art. 8 CC répartit le fardeau de la preuve pour toutes les prétentions fondées sur le droit fédéral et détermine, sur cette base, laquelle des parties doit assumer les conséquences de l'échec de la preuve (<ref-ruling> consid. 2.6 p. 24; <ref-ruling> consid. 2a p. 522). Il résulte de l'art. 8 CC que la partie demanderesse doit prouver les faits qui fondent sa prétention, tandis que sa partie adverse doit prouver les faits qui entraînent l'extinction ou la perte du droit (<ref-ruling> consid. 3.1 p. 323). L'art. 8 CC ne prescrit cependant pas comment les preuves doivent être appréciées et sur quelles bases le juge peut forger sa conviction (<ref-ruling> consid. 2d; <ref-ruling> consid. 3a p. 253). Dès lors que la cour cantonale parvient à la conclusion que la preuve requise a été apportée, il ne s'agit plus d'un cas d'échec de la preuve et la règle sur le fardeau de la preuve ne peut plus jouer aucun rôle (<ref-ruling> consid. 3.4 p. 634; <ref-ruling> consid. 2.1 p. 649).
En l'espèce, il appartenait bien aux recourants, en tant que parties demanderesses, de prouver qu'ils avaient agi en temps utile. Cependant, dès lors que le droit cantonal avait mis à la charge de la bailleresse le devoir de procéder à une notification sur formule officielle, il incombait à l'intimée de prouver qu'elle avait rempli son obligation.
La cour cantonale n'a cependant pas renversé le fardeau de la preuve. Elle a admis que la bailleresse n'avait pas prouvé que l'avis daté du 10 avril 2006 avait été envoyé et reçu dans les jours qui ont suivi. Elle a retenu dans son raisonnement, au bénéfice du doute, la date la plus favorable aux locataires, soit la date limite admise par la locataire elle-même, le 31 mai 2006. Il n'y a donc pas trace d'une violation de l'art. 8 CC.
Les recourants invoquent aussi une violation de la maxime inquisitoire sociale prévue par l'art. 274d al. 3 CO. Ils n'indiquent cependant pas quelle précision la cour cantonale aurait dû demander, ni quelle preuve elle aurait dû administrer. Ce grief, faute de motivation, est dépourvu de toute consistance (cf. art. 42 al. 2 LTF).
Les recourants invoquent également une violation de l'art. 435 aLPC/GE. S'agissant d'une disposition de droit cantonal, ils devaient motiver leur grief de manière précise (art. 106 al. 2 LTF), ce qu'ils n'ont manifestement pas fait, ce qui entraîne l'irrecevabilité du grief.
Les recourants se plaignent enfin d'une violation de leur droit à une décision motivée découlant de l'art. 29 al. 2 Cst. Ils invoquent encore le contenu des décisions cantonales exigé par l'art. 112 al. 1 LTF, sans que l'on puisse discerner clairement quelle exigence supplémentaire ils en tirent pour le cas d'espèce.
La jurisprudence a notamment déduit du droit d'être entendu l'obligation, pour l'autorité, de motiver sa décision, afin que son destinataire puisse la comprendre et l'attaquer utilement s'il y a lieu (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 3.3 p. 445). Le juge n'a cependant pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; il suffit qu'il mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445).
En l'espèce, la motivation contenue dans l'arrêt attaqué permet de comprendre le raisonnement suivi par la cour cantonale et n'a en rien empêché les recourants de faire valoir leurs griefs. L'argumentation permet également de comprendre quels sont les faits essentiels qui ont été retenus. Que l'état de fait n'ait pas été entièrement réexaminé s'explique aisément par la remarque faite en préambule par la cour cantonale selon laquelle elle ne pouvait réexaminer les faits que sous l'angle de l'arbitraire en vertu du droit de procédure applicable au litige (art. 404 al. 1 CPC). Peu importe, sous l'angle du droit à une décision motivée, que la cour cantonale ait adopté le raisonnement des juges de première instance.
Ce grief n'a donc aucune consistance.
3. Les frais judiciaires et les dépens sont mis solidairement à la charge des recourants qui succombent (art. 66 al. 1 et 5, art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 1er juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget