Faits:
A. Le 31 janvier 2003, A._ et B._ (ci-après: les demandeurs) ont ouvert une action en libération de dette contre la Banque Y._ et X._ (ci-après: les défendeurs).
La demande en libération de dette concerne des créances (de 2'500'000 fr. et 479'276 fr. 10) objet de poursuites en réalisation de gages immobiliers fondées sur des cédules hypothécaires en 1er et 2e rang, garantissant des prêts hypothécaires contractés par les demandeurs, auprès de la Banque Y._, sur la parcelle ... de la commune de Lausanne.
Les demandeurs ont également conclu à ce que les défendeurs soient condamnés à leur verser solidairement la somme de 3'000'000 fr.
Par réponse du 18 août 2003, la défenderesse a conclu à ce que A._ soit condamné à lui verser le montant de 10'882'486 fr. 35 et, solidairement avec B._, la somme de 3'671'870 fr. 10, les oppositions formées par les demandeurs devant être définitivement levées. La défenderesse a recensé tous les crédits accordés au demandeur, ainsi que les autres engagements de celui-ci à son égard. Elle a notamment allégué que A._ et U._ se sont conjointement constitués cautions solidaires des engagements de la Clinique V._ SA, devenue SI W._ SA, à l'époque à l'égard de la Banque Z._ à concurrence de 4'200'000 fr.
Par réponse du 19 décembre 2003, le défendeur a conclu au rejet de la demande.
Entre mars et mai 2007, six audiences d'audition de témoins ont eu lieu. Un rapport d'expertise et un complément ont été établis les 15 mai 2007 et 25 mars 2008.
Le 22 juillet 2009, après divers incidents de procédure, le Juge instructeur de la Cour civile du Tribunal cantonal vaudois, considérant que la cause était en état d'être plaidée, a imparti aux parties un délai au 5 octobre 2009 pour déposer un mémoire, aux fins d'exposer leurs moyens de droit (cf. art. 317a de l'ancien Code de procédure civile vaudois du 14 décembre 1996 [aCPC/VD]).
Après s'être réformée, la défenderesse a encore déposé une duplique complémentaire le 21 septembre 2010.
B. Par requête du 17 novembre 2010, les demandeurs ont appelé en cause les héritiers de feu U._ (ci-après: la caution solidaire).
Le 13 décembre 2010, la défenderesse s'est opposée à cette requête, qui lui paraissait téméraire. Le 14 février 2011, le défendeur a qualifié la requête d'appel en cause d'inopportune et de dilatoire; il a déclaré s'en remettre à justice.
Le Juge instructeur de la Cour civile, par jugement incident du 28 février 2011, a rejeté la requête d'appel en cause, considérant principalement qu'elle était tardive.
Par arrêt du 29 septembre 2011, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours formé par les demandeurs et confirmé le jugement incident. Elle a retenu que les demandeurs avaient connaissance du cautionnement solidaire de U._ à partir du dépôt de la réponse de la défenderesse (en 2003) et que rien ne les empêchait de requérir formellement l'appel en cause des présumés héritiers du défunt dans les délais prévus par l'art. 85 al. 1 aCPC/VD. Elle a au surplus considéré que l'appel en cause devait être refusé, celui-ci conduisant à une complication excessive du procès (cf. art. 83 al. 2 aCPC/VD).
C. Les demandeurs exercent un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt cantonal du 29 septembre 2011. Ils concluent, sous suite de frais et dépens, à sa réforme en ce sens que l'appel en cause déposé le 17 novembre 2010 soit admis, subsidiairement à son annulation et au renvoi de la cause à l'autorité cantonale. Les recourants invoquent une constatation manifestement inexacte des faits (art. 97 al. 1 LTF), une violation de l'art. 8 CC et une application arbitraire des art. 83 al. 2 et 86 aCPC/VD.
La Banque Y._ (ci-après: l'intimée) conclut à l'irrecevabilité du recours, subsidiairement à son rejet.
Les recourants ont répliqué.
X._ (ci-après: l'intimé) déclare renoncer à déposer des déterminations sur le recours et la réplique.
Considérant en droit:
1. 1.1 Le refus d'autoriser l'appel en cause est une décision partielle visée par l'art. 91 let. b LTF, susceptible de recours selon cette disposition (ATF 134 III 379 consid. 1.1 p. 382).
1.2 En cas de recours contre une décision partielle, la valeur litigieuse doit être déterminée en fonction de l'ensemble des conclusions qui étaient litigieuses devant l'autorité précédente (art. 51 al. 1 let. b LTF). Celles-ci dépassent en l'occurrence très largement le seuil de 30'000 fr. fixé à l'art. 74 al. 1 let. b LTF.
Pour le surplus, interjeté par les parties qui ont succombé (art. 76 al. 1 LTF), dirigé contre un arrêt rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
Dès lors que le recours en matière civile est recevable, il en résulte nécessairement que le recours constitutionnel, qui est subsidiaire (art. 113 LTF), est irrecevable.
1.3 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc également être formé pour violation d'un droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 135 II 384 consid. 2.2.1 p. 389).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 136 II 304 consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 136 I 184 consid. 1.2 p. 187; 133 IV 286 consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur l'issue de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, les recourants et l'intimée présentent un "rappel des faits". Ils ne montrent cependant pas de manière précise quels faits pertinents auraient été retenus ou omis en contradiction manifeste avec le résultat univoque de l'administration des preuves (cf. arrêt 4A_132/2011 du 1er juin 2011 consid. 1.3 et la référence). En conséquence, ils ne formulent pas avec la précision requise, dans leur état de fait, un grief à l'encontre des constatations cantonales (art. 97 al. 1 et 105 al. 2 LTF) et le Tribunal fédéral ne voit aucune raison de s'écarter de l'état de fait contenu dans la décision attaquée (art. 105 al. 1 et 2 LTF).
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Les recourants s'attaquent à la motivation alternative fournie par la cour cantonale (sur l'exigence de recevabilité posée par la jurisprudence, cf. ATF 133 IV 119 consid. 6.3 p. 120 s.).
Ils invoquent une application arbitraire de l'art. 83 al. 2 aCPC/VD, soutenant que l'appel en cause aurait dû être admis sous cet angle, aucune complication excessive du procès ne pouvant être retenue. Soutenant une application arbitraire de l'art. 86 aCPC/VD, ils expliquent également, pour autant qu'on les comprenne, que la décision cantonale est affectée d'un vice de procédure, la requête d'appel en cause devant, selon eux, nécessairement être notifiée aux appelés en cause.
En rapport avec la motivation principale de l'autorité précédente, soit le caractère tardif de leur requête (cf. art. 85 al. 1 aCPC/VD), les recourants se limitent à soutenir que la cour cantonale a arbitrairement établi les faits. Selon eux, il convenait de constater qu'ils n'avaient pas connaissance du décès de la caution solidaire et de son domicile, et qu'ils ignoraient l'existence d'éventuels héritiers. Ils tirent argument de l'art. 97 al. 1 LTF (soit de l'établissement arbitraire des faits, art. 9 Cst.) et de l'art. 8 CC (insistant sur le fait qu'il appartenait aux intimés de prouver que les recourants avaient à disposition les informations nécessaires pour appeler en cause les héritiers de la caution solidaire). Dans leur acte de recours, ils n'invoquent par contre pas expressément la violation arbitraire de l'art. 85 aCPC/VD, ni ne démontrent, par une motivation circonstanciée, en quoi l'autorité précédente, sur la base des faits qu'ils évoquent, aurait commis une application arbitraire de cette règle de droit cantonal (cf. supra consid. 1.3). L'affirmation expresse selon laquelle il était "arbitraire [...] d'appliquer strictement les critères de [l'art. 85 al. 1 aCPC/VD], puisque [les recourants] ne disposaient pas, et pour cause, des éléments permettant d'appeler en cause immédiatement les hoirs de feu U._, dont ils ignoraient totalement l'existence" ressort pour la première fois de la réplique produite par les recourants. La réplique ne permet cependant pas aux parties recourantes de formuler pour la première fois un grief qu'elles auraient déjà pu présenter dans le délai de recours (ATF 125 I 71 consid. 1d/aa p. 77; 122 I 70 consid. 1c p. 74). La recevabilité du moyen est dès lors fort douteuse sous l'angle de l'art. 106 al. 2 LTF.
Fût-il recevable, le moyen serait de toute façon mal fondé.
2.2 Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable. Le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 135 V 2 consid. 1.3 p. 4 s.; 134 I 140 consid. 5.4 p. 148, 263 consid. 3.1 p. 265 s.).
En matière d'application du droit cantonal, l'arbitraire et la violation de la loi ne sauraient être confondus; une violation de la loi doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable (ATF 132 I 13 consid. 5.1 p. 18).
2.3 Il résulte clairement de l'art. 85 al. 1 aCPC/VD que la demande d'appel en cause de la part du demandeur doit être faite dans le délai de réplique ou, à défaut de réplique, au plus tard par conclusions prises à l'audience préliminaire.
En l'espèce, il a été établi, en fait (art. 105 al. 1 LTF), que les recourants ont procédé par une requête déposée le 17 novembre 2010, postérieure aux échéances mentionnées à l'art. 85 al. 1 aCPC/VD. Les recourants ne le contestent d'ailleurs pas, mais ils insistent sur le fait qu'ils ne possédaient pas les informations nécessaires pour appeler en cause la caution solidaire, de sorte qu'ils ne pouvaient agir dans les délais prévus par cette disposition légale. Ils n'auraient disposé des renseignements utiles qu'au moment du dépôt par l'intimée, le 21 septembre 2010, de sa duplique complémentaire.
Il ne résulte toutefois pas de la lettre de l'art. 85 al. 1 aCPC/VD que le manque d'informations au sujet de l'appelé en cause permettrait à l'appelant de faire fi des exigences strictes posées, quant aux délais pour requérir l'appel en cause, dans cette règle de procédure cantonale. Les commentateurs de l'ancien Code de procédure civile vaudois indiquent au contraire en des termes absolus que, contrairement à la dénonciation de litige qui peut généralement intervenir en tout état de cause, l'appel en cause doit impérativement être requis avant toute défense au fond; ils ne font état d'aucune exception permettant de réduire, dans le sens voulu par les recourants, la portée du texte légal (cf. POUDRET/HALDY/TAPPY, Procédure civile vaudoise, 3e éd. 2002, commentaire ad art. 84 aCPC/VD; POUDRET/WURZBURGER, Code de procédure civile vaudois, 2e éd. 1980, commentaire ad art. 84 aCPC/VD; VINCENT SALVADÉ, Dénonciation d'instance et appel en cause, thèse Lausanne 1995, p. 193). Les recourants eux-mêmes ne soutiennent d'ailleurs pas qu'il existerait une jurisprudence cantonale qui instaurerait une exception à l'art. 85 al. 1 aCPC/VD.
Compte tenu de ce qui précède, on ne saurait en tout cas pas conclure que le résultat auquel est parvenu la cour précédente était indéfendable et le moyen soulevé, à considérer qu'il soit recevable, doit être déclaré mal fondé.
Cela étant, il est inutile d'examiner de façon plus approfondie l'argumentation des recourants visant à démontrer qu'ils ne possédaient pas les informations nécessaires pour appeler en cause la caution solidaire. La question d'une éventuelle transgression de l'art. 97 al. 1 LTF (constatation manifestement inexacte des faits) et de l'art. 8 CC (dont l'invocation est par ailleurs difficilement compréhensible, la question d'espèce ne portant pas sur une prétention de droit fédéral) n'a aucune incidence sur l'issue de la querelle, de sorte que ce volet de la critique est sans consistance.
De même, l'appel en cause devant être refusé déjà en raison du caractère tardif de la requête, il est inutile d'examiner le moyen tiré de l'application arbitraire de l'art. 83 aCPC/VD (conditions de l'appel en cause). Enfin, les recourants se méprennent quand ils prétendent, en faisant référence à l'art. 86 aCPC/VD, que le juge ne saurait refuser l'appel en cause sans avoir au préalable entendu les appelés en cause. L'appel en cause étant tardif, son refus devait être prononcé et il n'y avait évidemment plus lieu de demander aux appelés en cause de se déterminer.
3. Le recours constitutionnel subsidiaire est irrecevable et le recours en matière civile, pour autant qu'il soit recevable, doit être déclaré mal fondé.
A titre de parties qui succombent, les recourants doivent s'acquitter solidairement des frais judiciaires et des dépens à allouer à l'intimée qui a déposé une réponse.
Il n'est pas alloué de dépens à l'intimé, qui a renoncé à présenter des observations.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 5'000 fr., sont mis solidairement à la charge des recourants.
4. Les recourants verseront, solidairement entre eux, une indemnité de 6'000 fr. à la Banque Y._ à titre de dépens.
5. Il n'est pas alloué de dépens à X._.
6. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 avril 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget