Faits:
A. H.X._ et F.X._ sont parties à trois procédures actuellement pendantes devant le Tribunal des baux et loyers du canton de Genève, à savoir la cause C/8991/2010 introduite par requête reçue le 16 septembre 2010, la cause C/9039/2010 découlant d'une requête reçue le 17 août 2010 et la cause C/12038/2010 fondée sur une requête reçue le 16 septembre 2010.
Le 21 janvier 2011, à l'occasion d'une audience, H.X._ et F.X._ ont su que la Ière Chambre du Tribunal des baux et loyers, qui traite les trois causes citées, serait désormais présidée par la juge A._.
A._ est entrée dans la magistrature judiciaire genevoise le 1er janvier 2011. Auparavant, elle a exercé la profession d'avocate à Genève, en particulier auprès de l'Asloca, association de protection des locataires dont les avocats représentent de nombreux plaideurs devant la juridiction spécialisée, notamment les locataires dans les trois causes citées. A._ a quitté l'Asloca en février 2010.
Le 28 février 2011, H.X._ et F.X._ ont demandé la récusation de la juge A._ en raison de ses liens avec l'Asloca et les avocats de celle-ci.
Dans ses observations du 15 mars 2011, A._ affirme qu'elle n'a jamais eu connaissance, lorsqu'elle était avocate de l'Asloca, des trois procédures visées dans la demande de récusation. Elle a ajouté qu'elle était en mesure de traiter ces procédures avec toute l'impartialité et la rigueur nécessaires.
B. Par décision du 15 avril 2011, le Tribunal civil du canton de Genève a déclaré irrecevable la demande de récusation. Il a considéré qu'elle avait été déposée tardivement, H.X._ et F.X._ ayant eu connaissance de la composition du tribunal environ un mois avant de déposer leur requête. De surcroît, il a considéré qu'il n'y avait pas de motif de récusation, parce qu'il n'a pas été prouvé que la juge A._ aurait rendu des services d'avocat dans les trois causes citées et que le seul fait qu'elle ait été précédemment avocate de l'Asloca ne suffisait pas.
Par arrêt du 13 octobre 2011, la Chambre civile de la Cour de justice du canton de Genève a rejeté, avec suite de frais, le recours formé contre cette décision. Reprenant la constatation de première instance selon laquelle la juge A._ n'a jamais été l'avocate des parties auxquelles sont opposés les recourants dans les trois procédures invoquées, la cour cantonale a estimé également qu'il n'y avait pas de motif de récusation et que la requête était tardive.
C. H.X._ et F.X._ exercent un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt cantonal du 13 octobre 2011. Invoquant la violation de nombreuses dispositions de droit fédéral, ils concluent, sous suite de dépens, à l'annulation de la décision attaquée et à la récusation de la juge A._, subsidiairement au renvoi de la cause à la cour cantonale. Ils ont sollicité préalablement l'octroi de l'effet suspensif.
Les autorités cantonales n'ont pas formulé d'observations, mais elles ont déposé leurs dossiers.

Considérant en droit:
1. 1.1 La décision attaquée ne met pas fin, même partiellement, aux trois procédures invoquées, lesquelles doivent se poursuivre devant le Tribunal des baux et loyers du canton de Genève. Il ne s'agit donc pas d'une décision finale (art. 90 LTF) ou partielle (art. 91 LTF), mais d'une décision incidente (art. 92 et 93 LTF). Comme cette décision incidente porte sur une demande de récusation d'un juge, elle peut faire l'objet d'un recours immédiat au Tribunal fédéral (art. 92 al. 1 LTF).
1.2 Les recourants ont montré de manière détaillée, pour chacune des trois procédures citées, que les loyers dus, en supposant que la demande soit admise, dépassaient le seuil de 15'000 fr. requis en matière de bail à loyer pour un recours en matière civile (art. 74 al. 1 let. a LTF). En cas de recours contre une décision incidente - comme c'est le cas en l'espèce -, la valeur litigieuse se détermine sur la base des conclusions qui restent litigieuses devant l'autorité compétente sur le fond (art. 51 al. 1 let. c LTF). Ainsi, vu les conclusions sur le fond, la valeur litigieuse est suffisante pour attaquer, par la voie du recours en matière civile, la décision incidente sur la demande de récusation. Il en résulte que le recours constitutionnel, qui est subsidiaire (art. 113 LTF), est irrecevable.
1.3 Interjeté par les parties qui ont succombé dans leur demande de récusation et qui ont donc qualité pour recourir (art. 76 al. 1 LTF), dirigé contre une décision rendue sur recours par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire civile (art. 72 al. 1 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
Il faut observer ici que l'arrêt attaqué est fondé sur une double motivation, à savoir l'absence de cause de récusation et la tardiveté de la requête. Se conformant à l'exigence de recevabilité posée par la jurisprudence (<ref-ruling> consid. 6.3 p. 120 s.), les recourants ont attaqué chacune de ces deux motivations alternatives.
1.4 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313), mais non pour violation du droit cantonal (<ref-ruling> consid. 2.4 p. 249).
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 4 p. 317 s.; <ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.5 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
Le complètement d'office envisagé par l'art. 105 al. 2 LTF suppose qu'un fait ressorte du résultat univoque de l'administration des preuves et qu'il soit nécessaire pour la décision à rendre (cf. <ref-ruling> consid. 2.4 p. 11). En l'espèce, les dossiers cantonaux produits ont permis de préciser la date de réception de chacune des trois requêtes, ce qui marque le moment où le Tribunal des baux et loyers a été saisi.
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). En particulier, si la partie recourante invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits, elle doit expliquer de manière circonstanciée - conformément aux exigences de l'art. 106 al. 2 LTF - en quoi la décision attaquée serait insoutenable (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Un tel grief ne doit donc être examiné que s'il se rapporte à un fait qu'il est nécessaire de trancher. Aucun fait nouveau, ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.6 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Sous réserve des garanties minimales déduites des art. 30 Cst. et 6 ch. 1 CEDH, les motifs de récusation sont régis par le droit de procédure applicable (cf. arrêt 8C_425/2009 du 9 octobre 2009 consid. 3).
En l'espèce, les trois procédures citées ont été introduites devant le Tribunal des baux et loyers avant l'entrée en vigueur, le 1er janvier 2011, du Code de procédure civile unifié (CPC; RS 272) (arrêté du Conseil fédéral du 31 mars 2010). Elles restent donc soumises à l'ancien droit de procédure jusqu'au jugement final par le Tribunal des baux et loyers (art. 404 al. 1 CPC). Les incidents de procédure survenant durant la phase de première instance restaient donc en principe soumis au droit genevois de procédure civile.
Les décisions de première instance communiquées aux parties après le 1er janvier 2011 sont cependant susceptibles d'un recours déterminé par le nouveau droit (art. 405 al. 1 CPC). C'est donc à juste titre que la cour cantonale a considéré que la décision rendue en première instance sur la demande de récusation pouvait faire l'objet d'un recours au sens du CPC (art. 50 al. 2 CPC). Comme cette voie de recours ne tend en principe qu'à contrôler la bonne application du droit par l'autorité inférieure, la question de la récusation restait soumise au droit cantonal (cf. FREI/WILLISEGGER, in Basler Kommentar, ZPO, 2010, n° 15 ad art. 405 CPC; DENIS TAPPY, in Code de procédure civile commenté, 2011, n° 27 ad art. 405 CPC). Or, comme on l'a vu (consid. 1.4), le recours en matière civile n'est pas ouvert pour se plaindre d'une violation du droit cantonal. Certes, les recourants auraient pu invoquer une violation arbitraire du droit cantonal (<ref-ruling> consid. 1.2 p. 382 s.; <ref-ruling> consid. 1 p. 203; <ref-ruling> consid. 2.3 p. 466). Ils devaient cependant, dans ce cas, indiquer avec précision quelle disposition du droit cantonal aurait été violée arbitrairement (art. 106 al. 2 LTF; <ref-ruling> consid. 2a p. 3). Comme les recourants n'ont invoqué aucune disposition de procédure cantonale, le recours doit être examiné exclusivement à la lumière des art. 30 al. 1 Cst. et 6 ch. 1 CEDH, qui ont été valablement invoqués.
2.2 La garantie d'un tribunal indépendant et impartial résultant des art. 30 al. 1 Cst. et 6 ch. 1 CEDH - qui ont, de ce point de vue, la même portée - permet, indépendamment du droit de procédure cantonal, de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective est établie, parce qu'une disposition relevant du for intérieur ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence d'une prévention et fassent redouter une activité partiale du magistrat. Cependant, seules les circonstances objectivement constatées doivent être prises en compte, les impressions purement subjectives de la partie qui demande la récusation n'étant pas décisives (<ref-ruling> consid. 2.1 p. 229; <ref-ruling> consid. 3.2.1 p. 608 s.; <ref-ruling> consid. 3.1 p. 210; <ref-ruling> consid. 4.2 p. 21, 238 consid. 2.1 p. 240).
La partie qui a connaissance d'un motif de récusation doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement (ATF <ref-ruling> consid. 3.4 p. 211; <ref-ruling> consid. 4.3.1 p. 21).
2.3 Le Tribunal fédéral a déjà admis que l'on ne pouvait pas demander la récusation d'un juge présidant une chambre du Tribunal des baux et loyers pour le seul motif qu'il a travaillé précédemment comme avocat de l'Asloca. Dès lors que le juge a cessé toute activité pour cette association et qu'il n'a pas réellement connu de la cause en tant qu'avocat, rien ne permet de penser que le juge, en raison de son activité passée, serait tenté d'avantager les parties défendues par cette association ou qu'il aurait acquis dans ce cadre une faveur inconditionnelle pour la cause des locataires. La solution inverse aurait pour conséquence que le juge, pourtant choisi en raison de ses compétences dans le domaine du droit du bail, serait pratiquement inhabile à siéger dans la plupart des cas (arrêt 4P.147/1997 du 24 novembre 1997 consid. 3b/bb et cc). Il n'y a pas lieu de revenir sur cette jurisprudence.
Il a été constaté que la juge a quitté l'Asloca en février 2010. Les recourants ne prétendent pas que cette constatation serait arbitraire (sur la notion d'arbitraire, notamment dans l'appréciation des preuves: cf. <ref-ruling> consid. 4.2 p. 560). On ne voit pas pourquoi elle le serait (cf. art. 105 al. 2 LTF), de sorte que le Tribunal fédéral est lié par cette constatation de fait (art. 105 al. 1 LTF).
Les trois procédures invoquées ont été introduites devant le Tribunal des baux et loyers après cette date, de sorte que la juge n'a pas pu s'en occuper en tant qu'avocate de l'Asloca devant cette juridiction. Elle aurait certes pu s'en occuper à un stade antérieur, soit dans une phase de préparation préalable à l'ouverture de l'action ou au stade de la conciliation. Les recourants ne prétendent pas l'avoir allégué et prouvé ou rendu vraisemblable dans la procédure cantonale. Ils ne démontrent donc pas que la cour cantonale aurait apprécié arbitrairement les preuves en concluant qu'il n'était pas établi que la juge ait elle-même fourni des prestations d'avocate dans l'une de ces trois procédures. Les recourants ne prétendent pas non plus que la juge serait intervenue comme avocate en faveur de l'une de leurs parties adverses dans une autre procédure. Il n'y a donc pas matière à compléter l'état de fait sur ces points (cf. art. 105 al. 2 LTF) et il n'est pas possible de raisonner avec ces hypothèses, qui ne correspondent pas à l'état de fait qui lie le Tribunal fédéral (art. 105 al. 1 LTF).
2.4 Les recourants soutiennent également que la juge a gardé des liens d'amitié avec certains de ses anciens collègues, avocats de l'Asloca.
Ils reprochent à la cour cantonale d'avoir refusé d'examiner une page de Facebook qu'ils ont produite pour la première fois dans la procédure de recours. On ne saurait adresser à ce sujet le moindre reproche à la cour cantonale, puisque l'art. 326 al. 1 CPC prévoit clairement, pour la procédure de recours, que les preuves nouvelles sont irrecevables. Contrairement à ce qu'invoquent les recourants, les innombrables renseignements figurant sur internet ne peuvent pas être considérés comme notoires (cf. <ref-ruling> consid. 7.2 p. 234, 534 consid. 3.2.3.3 p. 539).
Il arrive fréquemment qu'un juge et un avocat se connaissent. Par exemple, ils peuvent avoir fait leurs études ensemble, être membres d'un même parti politique, avoir été collègues à un certain stade de leur carrière ou encore pratiquer les mêmes loisirs. Une de ces situations banales ne saurait suffire pour constituer un motif de récusation. Que la juge d'espèce ait gardé de bons contacts avec ses anciens collègues ne suffit pas pour supposer objectivement qu'elle n'aurait pas le recul nécessaire pour traiter en toute impartialité les causes qui lui sont soumises. Il a déjà été jugé qu'une relation d'amitié ou d'inimitié entre un juge et un avocat ne pouvait constituer un motif de récusation que dans des circonstances spéciales, qui ne peuvent être admises qu'avec retenue; il faudrait qu'il y ait un lien qui, par son intensité et sa qualité, soit de nature à faire craindre objectivement qu'il influence le juge dans la conduite de la procédure et dans sa décision (cf. arrêt 1B_303/2008 du 25 mars 2009 consid. 2.2).
En l'espèce, les recourants ne prétendent pas avoir allégué et prouvé ou rendu vraisemblable qu'il existait, au moment où ils ont présenté leur demande de récusation, un lien d'amitié avec l'un ou l'autre des avocats cités qui soit d'une intensité telle que l'on puisse craindre objectivement que la juge ait perdu sa complète liberté de décision. Les recourants en restent à des généralités et l'état de fait retenu par la cour cantonale ne permet pas de discerner un lien particulièrement étroit au point de faire craindre objectivement la partialité du juge.
La cour cantonale n'a donc pas violé le droit fédéral en concluant que les recourants n'avaient établi aucun fait qui puisse constituer un motif de récusation.
2.5 Les diverses règles "protégeant la bonne foi" invoquées par les recourants (art. 2 et 3 CC, art. 9 Cst.) ne peuvent rien changer à ce qui précède. Pour soutenir l'application de ces règles, les recourants se fondent sur la prémisse, réfutée ci-dessus, qu'ils auraient établi les faits permettant de conclure à l'existence d'un motif de récusation; les moyens qu'ils invoquent sont dès lors sans consistance.
Les recourants invoquent également une inégalité prohibée par l'art. 8 Cst., alléguant qu'il existerait une "règle établie" devant les tribunaux genevois selon laquelle, "durant quelques années au moins, un magistrat ne s'occupe pas des causes dans lesquelles interviennent des membres de l'étude dans laquelle il avait pu pratiquer le barreau". Les recourants ne citent aucune disposition qui contiendrait une telle règle, ce qui exclut déjà d'entrer en matière, à supposer qu'il s'agisse d'une question de droit cantonal (art. 106 al. 2 LTF), même sous l'angle d'une violation arbitraire du droit cantonal (<ref-ruling> consid. 2a p. 3). S'ils se réfèrent à un usage, il faut rappeler que l'existence d'un usage relève des constatations de fait (<ref-ruling> consid. 2c p. 25; <ref-ruling> consid. 1a p. 27). Or, la cour cantonale n'a pas constaté l'existence d'un tel usage (art. 105 al. 1 LTF) et les recourants ne démontrent pas qu'il résulterait à l'évidence du résultat de l'administration des preuves, de telle sorte que l'état de fait cantonal pourrait être considéré comme arbitrairement lacunaire (art. 105 al. 2 LTF; <ref-ruling> consid. 4.1.2 p. 62). En conséquence, faute d'avoir établi une pratique ou une règle allant dans le sens que les recourants indiquent, il apparaît d'emblée qu'ils n'ont démontré aucune inégalité de traitement.
Dès lors qu'il n'y avait pas de motif de récusation, la juge n'avait aucun fait à annoncer d'office et elle devait encore moins se récuser spontanément.
Comme il n'y a pas de motif de récusation, il n'y a pas lieu d'examiner l'argumentation alternative, à savoir que la requête serait tardive. Les recourants n'ont aucun intérêt digne de protection (art. 76 al. 1 let. b LTF) à obtenir que leur demande soit déclarée irrecevable, plutôt que rejetée.
3. Les frais judiciaires sont mis solidairement à la charge des recourants qui succombent (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer des dépens à l'autorité qui a obtenu gain de cause (art. 68 al. 3 LTF), étant d'ailleurs rappelé qu'elle n'a pas formulé d'observations.
Le recours étant ainsi tranché, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis solidairement à la charge des recourants.
4. Il n'est pas alloué de dépens.
5. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre civile.
Lausanne, le 31 janvier 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget