Faits:
A. Par courrier du 4 octobre 1990, A._, qui était alors propriétaire de la totalité du capital-actions de B._ SA (ci-après: la société), a offert au médecin H.X._ d'en acquérir 10 % ou 20 %; celui-ci était conseillé par une fiduciaire, et faisait par ailleurs entière confiance à A._. Par courrier du 10 décembre 1990, celui-ci a adressé à celle-là les comptes au 30 juin 1990 ainsi que le budget pour 1991 de la société; il estimait à 650'000 fr. la valeur d'une participation à hauteur de 10 % du capital-actions. H.X._ n'a pas interpellé l'organe de révision au sujet de cette estimation.
Dès 1991, H.X._ a travaillé comme médecin indépendant au sein de la société.
Le 5 juillet 1991, H.X._ a acquis 10 % du capital-actions de la société pour le prix de 650'000 fr.; pour financer cette acquisition, il a obtenu des crédits de la Banque Z._ de 120'000 fr. et 500'000 fr. Le 24 janvier 1992, la fiduciaire de H.X._ a présenté à la Banque Y._ (ci-après: la banque) une demande de crédit de 620'000 fr. tendant à la reprise des lignes de crédit ouvertes auprès de la Banque Z._, que la banque a acceptée, moyennant en particulier le nantissement de deux cents actions au porteur de la société correspondant à 10 % du capital.
Le 8 février 1993, H.X._, qui avait épousé F.X._ le 7 octobre 1992, a acquis un terrain pour y faire construire une villa; à cet effet, il a obtenu de la banque un crédit qui s'est finalement élevé à 3'500'000 fr.; le 13 septembre 1993, il a contresigné pour accord un acte de crédit prévoyant notamment à titre de "garanties" la cession de la propriété d'une cédule hypothécaire premier rang de 2'300'000 fr. et d'une deuxième rang de 300'000 fr. grevant sa parcelle.
Le 7 octobre 1993, H.X._ a acquis 10 % supplémentaires du capital-actions de la société pour le prix de 650'000 fr.; cette acquisition a été en partie financée par la banque qui était intéressée par l'entrée de H.X._ dans le capital; le 29 novembre 1993, celui-ci a signé un "acte de cession en propriété et à fin de garantie d'un titre hypothécaire" portant sur une cédule hypothécaire au porteur de 2'300'000 fr. en deuxième rang grevant sa villa, en garantie des prétentions actuelles et futures de la banque.
Le 24 avril 1995, H.X._ a encore signé un "acte de cession en propriété et à fin de garantie d'un titre hypothécaire" dans lequel il confirmait la cession à la banque de la propriété d'une cédule hypothécaire au porteur en deuxième rang de 3'200'000 fr. - montant auquel devait être augmentée celle de 2'300'000 fr. - grevant sa parcelle, en garantie des prétentions actuelles et futures à son encontre.
Entre les mois d'août 1995 et janvier 1998, H.X._ a encore sollicité et obtenu de la banque des avances, accords de dépassement de crédit et restructurations de ses engagements.
Le 4 juillet 1997, l'organe de révision de la société - dont les engagements auprès de la banque et d'un autre établissement s'étaient élevées à plus de 13'000'000 fr. durant les années 1994 et 1995 - a adressé un avis de surendettement au juge; afin de sauvegarder les valeurs immatérielles et l'emploi et d'éviter une faillite, la banque a admis une restructuration; l'exploitation de la société a été confiée à C._ SA (ci-après: la nouvelle société), tandis que la société est devenue la société immobilière D._ SA (ci-après: la société [immobilière]) et est demeurée propriétaire de l'immeuble, loué à la nouvelle exploitante. La banque a créé cette structure et les nouveaux administrateurs ont été proposés par les collaborateurs de celle-ci.
Le 19 février 1998, la banque a refusé tout crédit supplémentaire en faveur de H.X._; le 19 juin 1998, elle a constaté que celui-ci n'avait pas régularisé la situation de ses comptes courants; le 11 janvier 1999, H.X._ a suspendu tout paiement d'intérêts ou d'amortissements à la banque.
L'établissement exploité a fermé ses portes le 31 mai 1999, la tentative de sauvetage ayant échoué; préférant éviter la faillite de la nouvelle société, la banque a réglé, lors d'une procédure de liquidation ordinaire, un passif de 3'500'000 fr. à 4'000'000 fr. Le 12 août 1999, la société immobilière a été mise en faillite.
Le 21 septembre 1999, H.X._ a déposé plainte contre les organes de fait et de droit de la société immobilière, pour banqueroute frauduleuse, gestion déloyale, faux dans les titres, gestion fautive, abus de confiance et toutes autres infractions; selon le rapport de la police de sûreté du 16 décembre 2001, aucun acte pénalement répréhensible n'a été découvert dans le cadre de la débâcle depuis l'implication active de la banque dans le dossier.
Par lettre du 13 octobre 1999 adressée à H.X._, la banque a dénoncé au remboursement, pour le 30 avril 2000, le capital de la créance incorporée dans la cédule hypothécaire de 3'200'000 fr. plus intérêts au taux maximum de 10 %; le même jour, elle a également dénoncé les autres prêts au remboursement; selon l'expert mis en oeuvre dans le cadre de la procédure, les engagements de H.X._ auprès de la banque s'élevaient à plus de 5'000'000 fr. au mois d'août 1999 et le taux d'intérêt moyen était en tout cas de 5 %.
Le 1er mai 2000, la banque a introduit une réquisition de poursuite en réalisation de gage immobilier contre les époux X._; le 15 mai 2000, un commandement de payer dans la poursuite n° ... a été notifié à chacun d'eux pour le montant de 3'200'000 fr. plus intérêts à 10 % dès le 23 mars 1997; les poursuivis y ont formé des oppositions totales, qui ont été provisoirement levées par prononcés du 3 août 2000 - n'allouant toutefois les intérêts que depuis le 1er mai 2000 -, maintenus sur recours.
B. Par demande du 30 janvier 2001, les époux X._ ont ouvert action contre la banque devant la Cour civile du Tribunal cantonal vaudois; ils concluaient à ce que celle-ci prononce qu'ils ne sont pas les débiteurs de leur adverse partie de la somme de 3'200'000 fr. avec intérêts à 10 % l'an dès le 1er mai 2000, que la banque n'est pas titulaire contre eux d'un droit de gage immobilier, que leurs oppositions aux commandements de payer n° ... de l'Office des poursuites de Lavaux sont maintenues tant en ce qui concerne le gage que la créance en poursuite et que la banque est la débitrice de H.X._ de la somme de 2'500'000 fr. avec intérêts à 5 % l'an dès le 19 août 1999. En résumé, ils soutenaient que la banque avait agi comme organe de fait de la société, qu'elle était responsable de la faillite de celle-ci et, partant, d'un dommage de 7'500'000 fr. causé à H.X._, d'où il résulterait une créance de 2'500'000 fr. après compensation avec les diverses dettes envers la banque, s'élevant à 5'000'000 fr. La banque a conclu à libération et, reconventionnellement, à ce que la Cour civile prononce que H.X._ est son débiteur de la somme de 5'000'0000 fr. avec intérêts à 5 % l'an dès le 30 avril 2000 et que les oppositions de ses adverses parties sont définitivement levées.
Dans le cadre de la procédure devant la Cour civile, les époux X._ ont déposé deux requêtes de réforme, qui ont été rejetées par décisions incidentes du Juge instructeur des 3 mars 2006 et 3 avril 2007.
Par jugement du 13 mars 2008, la Cour civile a prononcé que H.X._ devait payer à la banque la somme de 5'000'000 fr. avec intérêts à 5 % l'an dès le 30 avril 2000, rejeté l'action en libération de dette intentée par les époux X._ et définitivement levé les oppositions formées par ceux-ci à concurrence de 3'200'000 fr. avec intérêts à 10 % l'an dès le 1er mai 2000. En bref, elle a considéré que l'on ne pouvait retenir à l'encontre de la banque une violation de ses devoirs à l'égard de H.X._; faute d'avoir obtenu la cession des droits de la masse après la faillite de la société, H.X._ n'avait pas la qualité pour exercer l'action sociale; le lien de causalité entre les opérations commencées dès 1997 par la banque - qui exerçait depuis la fin de cette année-là un contrôle de fait sur la société - et la perte du capital-actions et du travail de H.X._ faisait défaut.
Par arrêt du 13 mars 2009, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours déposé par les époux X._, qui reprochaient pour l'essentiel au Juge instructeur de la Cour civile d'avoir écarté leurs deux requêtes de réforme. En résumé, elle a considéré que le rejet injustifié de conclusions incidentes ne pouvait être retenu, de même que, corollairement, une violation du droit d'être entendu ou une appréciation arbitraire des preuves.
C. Les époux X._ (les recourants) interjettent un recours en matière civile au Tribunal fédéral; reprenant les conclusions formulées en instance cantonale, ils sollicitent, avec suite de frais et dépens, principalement la réforme du jugement du 13 mars 2008 en ce sens qu'ils ne sont pas les débiteurs de la banque d'un quelconque montant, que les oppositions qu'ils ont formées aux commandements de payer n° ... de l'Office des poursuites de Lavaux, en réalisation d'un gage immobilier, sont maintenues et que leur adverse partie est leur débitrice de la somme de 2'500'000 fr. avec intérêts à 5 % l'an dès le 19 août 1999; ils proposent subsidiairement la réforme de ladite décision en ce sens que leurs oppositions sont définitivement maintenues à concurrence de 3'200'000 fr. avec intérêts à 10 % l'an dès le 1er mai 2000, plus subsidiairement l'annulation du jugement du 13 mars 2008 et de l'arrêt du 13 mars 2009 et le renvoi de la cause à la Chambre des recours, respectivement à la Cour civile, pour complément d'instruction et nouvelle décision dans le sens des considérants. En résumé, ils continuent à soutenir que le recourant avait une créance de 7'500'000 fr. contre la banque; en outre, ils plaident que celle-ci aurait commis une faute en accordant des crédits alors qu'elle connaissait la situation obérée de la société, de sorte qu'elle aurait perdu le droit au remboursement des prêts. Les recourants ont également requis l'effet suspensif au recours, qui a été accordé par ordonnance présidentielle du 9 octobre 2009. La banque (l'intimée) conclut, sous suite de frais et dépens, au rejet du recours dans la mesure où il est recevable.
Considérant en droit:
1. 1.1 Le recours en matière civile est recevable contre les décisions prises par les autorités cantonales de dernière instance (art. 75 al. 1 LTF). Si, pour certains griefs, la décision d'un tribunal cantonal supérieur peut être déférée à une autre autorité judiciaire cantonale, cette décision n'est pas de dernière instance pour ce qui concerne les questions susceptibles de ce recours cantonal; faute d'épuisement des voies de recours cantonales, ces questions ne peuvent pas être soulevées dans le cadre du recours en matière civile interjeté contre la décision du tribunal cantonal supérieur. Elles doivent d'abord faire l'objet du recours cantonal avant de pouvoir être soumises, le cas échéant, au Tribunal fédéral (cf. art. 100 al. 6 LTF).
En procédure civile vaudoise, le jugement rendu par la Cour civile peut faire l'objet d'un recours en nullité cantonal à la Chambre des recours pour violation des règles essentielles de la procédure, notamment pour arbitraire dans l'établissement des faits (art. 444 al. 3 du code de procédure civile [du canton de Vaud] du 14 décembre 1966 [CPC/VD; RSV 270.11]). Ces griefs ne sont dès lors pas recevables dans le cadre d'un recours au Tribunal fédéral dirigé contre le jugement de la Cour civile, faute d'épuisement des voies de recours cantonales (cf. art. 75 al. 1 LTF).
Selon la Chambre des recours, le recours en nullité cantonal a conservé son caractère subsidiaire après l'introduction de la LTF, de sorte qu'il ne permet pas de contester la violation du droit privé fédéral lorsque celle-ci peut être sanctionnée par le Tribunal fédéral saisi d'un recours en matière civile. Cette dernière condition est réalisée, la valeur litigieuse minimale de 30'000 fr. prescrite par la loi (art. 74 al. 1 let. b LTF) étant largement atteinte en l'espèce. Par conséquent, le Tribunal fédéral examinera librement les griefs articulés par les recourantes en ce qui concerne l'application des dispositions pertinentes du Code des obligations, telle qu'elle a été faite par la Cour civile.
1.2 Les recourants ont pris part à la procédure devant l'autorité précédente et ont un intérêt juridique à l'annulation ou à la modification des décisions attaquées, étant donné qu'ils ont succombé dans leurs conclusions (art. 76 al. 1 LTF).
1.3 Le recours contre une décision doit être déposé devant le Tribunal fédéral dans les trente jours qui suivent la notification de l'expédition complète (art. 100 al. 1 LTF). Cependant, si, comme c'est le cas dans la présente espèce, la décision d'un tribunal cantonal supérieur peut être déférée à une autorité judiciaire cantonale pour une partie seulement des griefs visés aux art. 95 à 98 LTF, le délai de recours commence à courir à compter de la notification de la décision de cette autorité (art. 100 al. 6 LTF). En vertu de cette dernière disposition, les recourants étaient en droit d'attaquer, dans les trente jours dès la notification de l'arrêt de la Chambre des recours, aussi bien ledit arrêt que le jugement rendu antérieurement par la Cour civile, ce qu'ils ont fait en temps utile, quoi qu'en dise l'intimée.
2. Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris les droits constitutionnels (ATF 134 III 379 consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), dont il ne peut s'écarter que s'ils l'ont été de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
3. Dans un premier moyen, les recourants reprochent à la Cour civile de ne pas avoir admis la responsabilité de l'intimée comme organe de la société, au sens de l'art. 754 al. 1 CO.
3.1 Dans ce contexte, les recourants, faisant allusion aux art. 9 Cst. et 154 CPC/VD, font grief au Juge instructeur de la Cour civile d'avoir rejeté leur deuxième requête de réforme, respectivement à la Chambre des recours d'avoir confirmé le rejet, en tant qu'elle visait à établir qu'aucune action en responsabilité n'avait été intentée contre les organes de fait ou de choix de la société; la requête avait pour but d'établir leur qualité pour agir.
S'il est possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst., le Tribunal fédéral n'examine le moyen fondé sur la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de manière précise (cf. art. 42 al. 2 LTF et 106 al. 2 LTF; ATF 134 II 349 consid. 3 p. 351 s.). En l'espèce, force est de constater d'emblée l'irrecevabilité de l'argumentation des recourants, qui ne répond pas aux exigences de motivation applicables en la matière.
3.2 Quant au fond, la Cour civile a considéré en substance que, depuis la fin de l'année 1997 jusqu'à la faillite de la société, l'intimée exerçait un contrôle de fait sur celle-ci; l'intimée avait à tout le moins partiellement violé son devoir de surveillance en laissant A._ à son poste d'administrateur de la société et une faute pouvait également lui être reprochée dans la mesure où elle n'avait pas pris les mesures qui s'imposaient alors qu'elle en avait les moyens; le dommage résultait de la faillite de la société; toutefois, si la violation du devoir de surveillance, la faute et le dommage pouvaient être admis, il n'en allait pas de même du lien de causalité entre les opérations commencées dès 1997 par l'intimée et la perte du capital-actions et du travail du recourant; on relevait à cet égard qu'au moment où l'intimée avait tenté de reprendre, indirectement, la gestion de la société, celle-ci se trouvait déjà en situation de surendettement et l'avis au juge avait été donné; il s'ensuivait que le capital avait déjà été perdu; l'opération tentée n'avait fait que retarder la faillite de la société et tant l'emploi que l'investissement du recourant pouvaient être considérés comme perdus dès 1997; en conclusion, même si les parties avaient la légitimation pour agir, ce qui n'était pas le cas, les conditions d'une action en responsabilité n'étaient pas réunies et les conclusions des recourants devaient être rejetées sur ce point.
Dans leur écriture au Tribunal fédéral, les recourants soutiennent d'abord que les faits retenus dans le jugement attaqué démontreraient "à l'évidence que l'intimée était effectivement un organe de la société depuis 1987 au moins"; ils mettent à cet égard en exergue différents éléments - dont le dernier ne découle en réalité pas de l'état de fait de la décision entreprise mais de deux pièces et du procès-verbal de l'audition d'un témoin - qu'ils estiment utiles à leur thèse. De la sorte, ils ne font toutefois que tenter d'opposer, dans une argumentation de type appellatoire, leur propre vision des choses à celle de la cour cantonale, qui a retenu que jusqu'à 1997, l'intimée ne s'était pas intéressée étroitement à la gestion du "groupe A._" et que les recourants n'avaient pas démontré que le président de la société était "l'homme-lige" de l'intimée. De surcroît, dans la mesure où la critique des recourants revient en réalité à s'en prendre à l'appréciation des preuves par la Cour civile, elle devait en tout état être soulevée dans leur recours cantonal et le grief est irrecevable devant le Tribunal fédéral, faute d'épuisement des voies de recours cantonales.
Les recourants reprochent ensuite aux juges cantonaux d'avoir nié l'existence d'un lien de causalité. L'existence d'un lien de causalité naturelle est une question de fait (ATF 133 III 462 consid. 4.4.2 p. 470). En l'occurrence, les recourants ne font derechef que procéder à leur propre présentation des faits, en se fondant d'ailleurs sur la prémisse - comme précédemment exposé - erronée selon laquelle l'intimée aurait été organe de fait de la société antérieurement à 1997; ce qui vient d'être dit vaut également dans ce contexte.
4. Dans un deuxième temps, les recourants, invoquant l'art. 44 CO, estiment que l'intimée aurait commis des fautes concomitantes telles qu'elles conduiraient à la perte de son droit au remboursement des prêts consentis; en résumé, ils sont d'avis que l'intimée aurait violé son devoir d'information et aurait pris un risque inconsidéré en prêtant au recourant les fonds nécessaires à l'acquisition de 10 % supplémentaires du capital-actions de la société, dont elle connaissait très bien la situation financière; en outre, l'intimée aurait continué à accorder de nombreux prêts au recourant, alors que sa situation financière devenait catastrophique, soutenant ainsi les époux alors que leurs seules garanties, outre une hypothèque immobilière et de modestes polices d'assurances, étaient toutes liées à la société, par les revenus du recourant et par le 20 % du capital-actions de celle-ci.
De la sorte, les recourants ne font cependant une fois encore que présenter leur propre version des choses, en se fondant sur des éléments de fait qui ne ressortent - à tout le moins partiellement - pas de la décision entreprise, mais correspondent aux faits qu'ils ont vainement tenté d'introduire dans la procédure par le biais de leur deuxième requête de réforme. Or, celle-ci a été rejetée par le Juge instructeur de la Cour civile, décision confirmée par la Chambre des recours, et les recourants ne prétendent ni a fortiori ne démontrent devant le Tribunal fédéral en quoi lesdites autorités auraient ainsi commis arbitraire dans l'application du droit cantonal de procédure. Leur procédé est ainsi irrecevable.
Au demeurant, il n'y avait de toute façon pas lieu d'envisager l'application de l'art. 44 CO. En effet, cette disposition permet au juge de réduire ou supprimer les dommages-intérêts lorsque la victime n'a pas pris toutes les mesures commandées par les circonstances pour diminuer son dommage; il ressort toutefois très clairement de son texte qu'elle n'entre en ligne de compte qu'en cas de dommages-intérêts, qu'ils soient délictuels ou contractuels (art. 99 al. 3 CO; ATF 131 III 511 consid. 5 p. 528). Or, en l'espèce, l'intimée a demandé l'exécution de prestations contractuelles, à savoir le remboursement de prêts. Cela scelle derechef le sort du grief.
5. Dans un moyen subsidiaire, les recourants se plaignent d'une "violation manifeste du principe de l'identité entre la créance au fond et la créance déduite en poursuite"; à cet égard, ils exposent que la créance déduite en poursuite porte intérêts à 10 % l'an alors que la créance au fond ne porte intérêts qu'à 5 % l'an, de sorte que si la cause n'était pas définitivement réglée d'ici au 30 avril 2026, la créance au fond, en capital et intérêts, s'élèverait à 11'500'000 fr., tandis que la créance déduite en poursuite, en capital et intérêts, totaliserait 11'520'000 francs.
5.1 La cédule hypothécaire est une créance personnelle garantie par un gage immobilier (art. 842 CC). Il s'agit d'un papier-valeur qui incorpore à la fois la créance et le droit de gage immobilier, qui en est l'accessoire. Lorsque le créancier l'a reçue comme propriétaire fiduciaire aux fins de garantie (garantie fiduciaire; Sicherungs-übereignung), il n'y a pas novation de la créance garantie (ou causale ou de base). On distingue alors la créance abstraite garantie par le gage immobilier, incorporée dans la cédule hypothécaire, et la créance causale résultant de la relation de base, en général un contrat de prêt, pour laquelle la cédule a été remise en garantie, ces deux créances étant indépendantes l'une de l'autre. La créance abstraite constatée dans la cédule est destinée à doubler la créance causale aux fins d'en faciliter et d'en garantir le recouvrement. Seule la créance abstraite incorporée dans la cédule hypothécaire et garantie par gage immobilier doit faire l'objet d'une poursuite en réalisation de gage immobilier, tandis que la créance causale peut faire l'objet d'une poursuite ordinaire (cf. arrêt 5A_122/2009 du 2 février 2010, destiné à la publication aux ATF, consid. 3.1; ATF 134 III 71 consid. 3; 119 III 105 consid. 2a).
Si la créance causale (capital et intérêts) est supérieure au montant de la créance incorporée dans la cédule (capital, intérêts de trois années échus et intérêts courant - entre la dernière annuité et le jour de la poursuite - cf. art. 818 al. 1 ch. 3 CC), le créancier peut faire valoir dans la poursuite en réalisation de gage immobilier l'intégralité de la créance cédulaire avec les intérêts de trois années échus, intérêts courants et intérêts moratoires (cf. arrêt 5A_122/2009 du 2 février 2010, destiné à la publication aux ATF, consid. 3.2). Le taux de l'intérêt des trois annuités échues et des intérêts courants est celui fixé dans la convention de fiducie (cf. Jacques, Exécution forcée spéciale des cédules hypothécaires, Blätter für Schuldbetreibung und Konkurs [BlSchK] 2001 p. 201 ss, spéc. p. 215; Zobl, Zur Sicherungs-übereignung von Schuldbriefen, Revue Suisse du Notariat et du Registre foncier [RNRF] 68/1987 p. 281 ss, spéc. p. 290). Si, au contraire, la créance causale (capital et intérêts) résultant du rapport contractuel de base est inférieure au montant de la créance incorporée dans la cédule (capital, intérêts de trois années échus et intérêts courant; cf. art. 818 al. 1 ch. 3 CC), le créancier ne peut agir dans la poursuite en réalisation de gage immobilier que pour la somme équivalant à ce qui était effectivement dû en capital et intérêts en vertu de la créance causale; si le créancier poursuit pour le montant de la créance (avec intérêts) incorporée dans le titre alors que la créance causale (avec intérêts) est inférieure, le débiteur poursuivi peut opposer l'exception tirée de la convention de fiducie, et exiger la limitation de la somme réclamée au montant de la créance causale (avec intérêts; cf. arrêt 5A_122/2009 du 2 février 2010, destiné à la publication aux ATF, consid. 3.2).
5.2 En l'espèce, il y a donc lieu de faire un double calcul - d'une part de la créance causale avec intérêts à tel pour cent, d'autre part de la créance abstraite avec intérêts de trois ans à tel autre pour cent et intérêts courants -, et vérifier si la première est plus ou moins élevée que la seconde.
Selon les trois actes de cession successifs des 13 septembre 1993, 29 novembre 1993 et 24 avril 1995, à savoir les conventions de fiducie, la cédule a été remise en garantie des prétentions actuelles et futures de la banque; la cour cantonale a par ailleurs retenu que la créance abstraite portait intérêts au taux maximum prévu dans la cédule, soit 10 %.
Dans la poursuite du 1er mai 2000, la créancière a réclamé des intérêts à 10 % dès le 23 mars 1997. Au jour de la poursuite, la créance abstraite était donc de 3'200'000 fr. + 3 x 320'000 fr. (trois années à 10 %), soit au total de 4'160'000 fr. Puisque la créance causale (avec les intérêts conventionnels à un taux moyen d'en tout cas 5 % selon l'expert) garantie est de 5'000'000 fr., la créancière avait droit au montant de la créance abstraite (capital avec trois années d'intérêts à 10 %).
Au stade de la mainlevée, le juge qui la prononce ne connaît pas encore le jour de la réquisition de vente, ni le jour de la vente, et n'est donc pas en mesure d'allouer les intérêts courants depuis la dernière échéance précédant la réquisition de vente et jusqu'au jour de la vente (cf. art. 818 al. 1 ch. 3 in fine CC). Le créancier pourra les faire valoir dans sa production à l'état des charges (cf. art. 138 al. 2 ch. 3 LP; arrêt 5C.266/2005 du 2 février 2006 consid. 3.2).
Des intérêts moratoires (art. 818 al. 1 ch. 2 CC) sur les intérêts (en l'occurrence de trois annuités, à savoir 960'000 fr.) ne peuvent être alloués que s'ils sont réclamés par une poursuite et à compter de la réquisition de poursuite (art. 105 al. 1 CO). Tel n'est pas le cas en l'espèce.
En définitive, le moyen des recourants est donc fondé. En conséquence, le recours doit être partiellement admis dans la mesure de sa recevabilité et le chiffre III du dispositif du jugement de la Cour civile du 13 mars 2008 réformé en ce sens que les oppositions formées par les recourants aux commandements de payer notifiés dans la poursuite n° ... de l'Office des poursuites de Lavaux sont définitivement levées à concurrence du montant de 4'160'000 francs.
6. Le recours est admis sur un point accessoire. Dans ces circonstances, il se justifie de mettre les frais judiciaires, arrêtés à 25'000 fr., à raison de trois quarts à la charge des recourants, débiteurs solidaires, et d'un quart à celle de l'intimée (art. 66 al. 1 et 5 LTF). La même clé de répartition sera appliquée aux dépens, fixés à 30'000 fr., de sorte qu'après compensation, les recourants, débiteurs solidaires, restent devoir à l'intimée une indemnité réduite à 15'000 fr. (art. 68 al. 1 et 4 LTF).
Pour le surplus, il convient encore d'annuler les chiffres IV et V du dispositif du jugement de la Cour civile du 13 mars 2008 et de renvoyer la cause à ladite autorité pour qu'elle rende le cas échéant une nouvelle décision sur les frais et dépens de la procédure devant elle (art. 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis dans la mesure où il est recevable.
2. Le chiffre III du dispositif du jugement de la Cour civile du 13 mars 2008 est réformé comme il suit:
"Les oppositions formées par H.X._ et F.X._ aux commandements de payer notifiés dans la poursuite n° ... de l'Office des poursuites de Lavaux sont définitivement levées à concurrence du montant de 4'160'000 francs".
3. Les chiffres IV et V du dispositif du jugement de la Cour civile du 13 mars 2008 sont annulés et la cause est renvoyée à ladite autorité pour qu'elle rende le cas échéant une nouvelle décision sur les frais et dépens de la procédure devant elle.
4. Le dispositif du jugement de la Cour civile du 13 mars 2008 est confirmé pour le surplus.
5. Les frais judiciaires, arrêtés à 25'000 fr., sont mis à raison de trois quarts à la charge des recourants, débiteurs solidaires, et d'un quart à celle de l'intimée.
6. Une indemnité de 15'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge des recourants, débiteurs solidaires.
7. Le présent arrêt est communiqué aux mandataires des parties, à la Cour civile du Tribunal cantonal vaudois et à la Chambre des recours du Tribunal cantonal vaudois.
Lausanne, le 25 février 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz