Faits:
A. Le 28 avril 2004, H.X._, son épouse F.X._ et sa mère X._ ont conclu avec A._ SA (ci-après: A._ ou la banque) trois contrats de prêt hypothécaire portant sur les montants de 270'000 fr. (prêt n° 1), 400'000 fr. (prêt n° 2) et 1'000'000 fr. (prêt n° 3); l'échéance des prêts était fixée au 29 avril 2005 dans les deux premiers contrats et au 30 avril 2009 dans le troisième. Les trois prêts étaient garantis notamment par une cédule hypothécaire au porteur grevant en premier rang à hauteur de 1'670'000 fr. un immeuble sis à ..., copropriété de H.X._ et de F.X._; le 28 avril 2004 également, les parties ont conclu une convention de "transfert de propriété à fin de garantie" de ladite cédule.
En ce qui concerne la dénonciation de l'hypothèque fixe par A._, chacun des trois contrats de prêt hypothécaire contenait les clauses suivantes:
"Si A._ est disposée à consentir le présent crédit, elle se réserve toutefois le droit de procéder à la résiliation anticipée dudit crédit et de tout autre crédit éventuel, moyennant un préavis de 90 jours, s'il apparaît que:
- le client est en retard dans le paiement des intérêts ou des amortissements convenus pour le remboursement du présent et d'autres crédits éventuels, y compris ceux d'autres créanciers.
- selon A._, les immeubles mis en gage ont perdu de leur valeur et n'offrent plus une couverture suffisante.
- selon A._, la situation financière et/ou le niveau des revenus du client se sont détériorés ou qu'une telle évolution est à prévoir.
- des mesures (telles que l'application de réserves minimales obligatoires, l'augmentation des exigences en matière de fonds propres) prises par la Banque Nationale ou d'autres autorités entraînent une augmentation des coûts du crédit."
Dans une lettre du 18 avril 2008 adressée à Me Z._, alors conseil de H.X._, A._ a écrit notamment les lignes suivantes:
"Nous référant aux divers entretiens que nous avons eus avec Me Z._, et compte tenu de la situation juridique particulière de Monsieur H.X._, nous vous confirmons notre intention de patienter jusqu'au 31 juillet 2008 pour le paiement des arriérés d'intérêts et amortissements, qui se montent à ce jour à CHF 76'863.65."
Par courrier recommandé du 26 novembre 2008, la banque a informé les conseils respectifs de H.X._ et de son épouse ainsi que l'administrateur de la succession de X._ qu'elle résiliait pour le 28 février 2009 les trois contrats de prêt du 28 avril 2004 et le compte courant y relatif. Pour chaque prêt, elle indiquait le capital, les intérêts et les intérêts de retard; pour le prêt n° 3, le décompte se présentait ainsi:
Capital 1'000'000 fr.
Intérêts du 1.7.2007 au 30.9.2008 46'875 fr.
Intérêts du 1.10.2008 au 28.2.2009 15'625 fr.
Intérêts de retard 2'837 fr.55
Total 1'065'337 fr.55
Par ailleurs, conformément à une clause de l'acte de transfert de propriété à fin de garantie, la banque dénonçait au remboursement le capital incorporé dans la cédule hypothécaire pour le 28 février 2009 également.
Le 5 mars 2009, A._ a introduit une poursuite en réalisation de gage immobilier (poursuite n° vvv). Le 12 mars 2009, l'Office des poursuites de l'arrondissement de Vevey a notifié à H.X._ un commandement de payer les sommes de 1'670'000 fr., plus intérêts à 10% l'an dès le 28 février 2009, et de 6'374 fr.25, plus intérêts à 5% l'an dès le 5 mars 2009.
Le poursuivi a formé opposition. Le 27 août 2009, le Juge de paix du district de la Riviera - Pays-d'Enhaut a prononcé la mainlevée provisoire de l'opposition à concurrence des montants de 1'670'000 fr., plus intérêts à 5% l'an dès le 1er mars 2009, et de 6'374 fr.25, plus intérêts à 5% l'an dès le 5 mars 2009. Dans un arrêt du 17 juin 2010, la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud a rejeté le recours de H.X._, admis partiellement celui de la banque et réformé le prononcé du juge de paix en ce sens que l'opposition était provisoirement levée à concurrence de 1'670'000 fr., plus intérêts à 5 % l'an dès le 1er mars 2009, et de 6'374 fr.25, plus intérêts à 5 % l'an dès le 5 mars 2009, l'opposition étant maintenue pour le surplus. Le recours en matière civile interjeté par H.X._ contre cet arrêt sera rejeté dans la mesure de sa recevabilité par le Tribunal fédéral en date du 1er novembre 2011 (cause 5A_73/2011).
B. Le 23 décembre 2010, H.X._ a introduit une action en libération de dette et une action en paiement devant la Cour civile du Tribunal cantonal du canton de Vaud (cause CO 10.042438). Ses conclusions tendaient tout d'abord à ce qu'il fût constaté qu'il n'était pas le débiteur de A._ du montant de 1'670'000 fr. et à ce qu'en conséquence, l'opposition au commandement de payer notifié le 12 mars 2009 fût maintenue. Le demandeur concluait également à la condamnation de A._ à lui verser un montant à déterminer en cours de procédure.
Le même jour, H.X._ a déposé quatre autres demandes en libération de dette contre A._ devant la Cour civile du Tribunal cantonal. Ces actions tendaient à ce qu'il fût constaté que le demandeur ne devait pas à la banque différents montants pour un total de 14'200'000 fr., qui résultait de cédules hypothécaires garantissant des prêts hypothécaires souscrits par lui-même et sa soeur S.X._.
Dans la cause CO 10.042438, H.X._ a requis l'assistance judiciaire, limitée à la dispense du paiement des frais judiciaires. Il en a fait de même dans les quatre autres procédures.
Par prononcés du 23 mars 2011, le juge délégué de la Cour civile a refusé à H.X._ le bénéfice de l'assistance judiciaire dans les cinq procès en libération de dette susmentionnés, au motif que les actions en question étaient dénuées de chances de succès. A part le numéro de cause, les cinq décisions étaient identiques; elles ne distinguaient pas les différentes actions en libération de dette, ni par le montant en jeu, ni par le numéro de poursuite.
H.X._ a recouru contre le refus de l'assistance judiciaire dans les cinq procédures. Par arrêts du 4 mai 2011 dont les considérants ont été envoyés le 26 août 2011, la Chambre des recours civile du Tribunal cantonal du canton de Vaud a rejeté les cinq recours et confirmé les décisions du 23 mars 2011; l'état de fait des cinq arrêts était identique, hormis la retranscription des conclusions des actions en libération de dette et le montant des avances de frais requises, et la motivation était semblable dans les cinq décisions.
Le recours que H.X._ a déposé contre l'arrêt de la Chambre des recours civile dans la cause CO 10.042438 a été admis par le Tribunal fédéral, lequel a annulé ledit arrêt et renvoyé la cause à la cour cantonale pour nouvelle décision (arrêt 4A_596/2011 du 29 novembre 2011). En effet, en appréciant les chances de succès dans la cause CO 10.042438 sur la base d'un état de fait qui n'avait rien à voir avec celui déterminant pour l'action en libération de dette correspondante, la cour cantonale avait versé dans l'arbitraire.
Par arrêt du 7 mars 2012 dont les considérants ont été notifiés le 20 avril 2012, la Chambre des recours civile a derechef rejeté le recours et confirmé, après substitution de motifs, la décision de refus de l'assistance judiciaire du 23 mars 2011. Elle a considéré que l'action en libération de dette était vouée à l'échec dans la mesure où la banque était fondée à résilier le prêt de 1'000'000 fr. de manière anticipée pour le 28 février 2009 et ainsi à en réclamer le remboursement. Selon la cour cantonale, l'action en paiement est de même dénuée de chances de succès dès lors que H.X._ invoque un dommage lié précisément à la résiliation du contrat de prêt hypothécaire de 1'000'000 fr.
C. H.X._ interjette un recours en matière civile. Il conclut à l'annulation de l'arrêt du 7 mars 2012 et demande à être mis au bénéfice de l'assistance judiciaire en ce qui concerne le paiement des frais judiciaires relatifs à son action en libération de dette et à sa demande en paiement dans la cause CO 10.042438. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants du Tribunal fédéral ou, encore plus subsidiairement, à la fixation d'un nouveau délai pour procéder au versement de l'avance de frais requise dans la cause CO 10.042438.
Par ordonnance du 7 juin 2012, la Présidente de la cour de céans a admis la requête d'effet suspensif présentée par le recourant.
Ce dernier requiert également l'assistance judiciaire pour la procédure devant le Tribunal fédéral; il limite sa demande à la dispense du paiement des frais judiciaires.
L'intimé n'a pas été invité à se déterminer sur le recours.
Considérant en droit:
1. Après le renvoi de la cause à la Chambre des recours civile, cette autorité a confirmé le rejet de la demande d'assistance judiciaire formée par le recourant, en se fondant cette fois-ci sur l'état de fait correspondant aux actions en libération de dette et en paiement de la cause CO 10.042438. Il s'agit là d'une décision incidente, notifiée séparément, qui est de nature à causer un préjudice irréparable au justiciable; elle peut par conséquent faire l'objet d'un recours immédiat au Tribunal fédéral (art. 93 al. 1 let. a LTF; cf. ATF 133 IV 335 consid. 4 p. 338; 129 I 129 consid. 1.1 p. 131). Selon le principe de l'unité de la procédure, la voie de droit contre une décision incidente correspond à celle ouverte dans la cause au fond (ATF 133 III 645 consid. 2.2 p. 647; cf. également ATF 134 V 138 consid. 3 p. 144). L'art. 51 al. 1 let. c LTF précise à cet égard que lorsque le recours a pour objet une décision incidente, la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité compétente sur le fond. En l'espèce, la valeur litigieuse de l'action en libération de dette dépasse largement le montant de 30'000 fr., de sorte que le recours en matière civile est ouvert (art. 74 al. 1 let. b LTF).
Au surplus, l'arrêt attaqué, rendu sur recours, émane d'une autorité judiciaire cantonale supérieure statuant en dernière instance (art. 75 al. 1 et 2 LTF). Interjeté par la partie qui n'a pas obtenu le bénéfice de l'assistance judiciaire limitée à la dispense du paiement des frais judiciaires (art. 76 al. 1 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
2. Selon le recourant, la cour cantonale a violé le droit en considérant que la procédure ouverte dans la cause CO 10.042438 était dépourvue de chances de succès au sens de l'art. 117 CPC. A le suivre, cette appréciation serait arbitraire et reposerait sur des constatations manifestement inexactes des faits.
A propos du motif de résiliation anticipée du contrat de prêt de 1'000'000 fr., la conclusion de la cour cantonale serait arbitraire, car A._ n'aurait jamais invoqué la situation financière précaire de l'emprunteur, mais aurait prétendu - faussement - que celui-ci était en retard dans le paiement des intérêts du prêt. De toute manière, le recourant était emprisonné et sans revenu depuis près de trois ans au moment de la dénonciation du prêt, de sorte que la banque aurait accepté cette situation pendant un long laps de temps et n'aurait pu résilier le prêt en novembre 2008 qu'en faisant preuve d'une mauvaise foi crasse. Par ailleurs, selon les termes mêmes du contrat de prêt, l'appréciation d'une situation financière détériorée ne pouvait être effectuée que par la banque, ce qu'elle n'a précisément pas fait.
Le recourant fait valoir par ailleurs que la banque n'a pas prouvé la date de réception de la lettre de résiliation du 26 novembre 2008 et, en particulier, que le délai contractuel de nonante jours dès réception de l'avis de résiliation était respecté au 28 février 2009, ni même au 5 mars 2009, date de la réquisition de poursuite.
2.1 La cour cantonale a appliqué l'art. 117 CPC à la demande d'assistance judiciaire du recourant. Or, l'action au fond a été introduite en 2010, avant l'entrée en vigueur du CPC, et reste soumise à l'ancien droit de procédure (art. 404 al. 1 CPC), ce qui vaut également pour la demande - incidente - tendant à l'exonération des frais judiciaires, même si celle-ci a été déposée en 2011 (arrêt 4A_598/2011 du 29 novembre 2011 consid. 3.2; arrêt 4A_34/2012 du 23 février 2012 consid. 2.1; DENIS TAPPY, in Code de procédure civile commenté, 2011, n° 21 ad art. 404). La question est toutefois dénuée de portée pratique en l'occurrence, puisque la condition des chances de succès, litigieuse ici, est appréhendée de manière identique par les art. 117 CPC et 29 al. 3 Cst. (arrêt 5A_842/2011 du 24 février 2012, destiné à la publication, consid. 2.2.4).
2.2 Selon la jurisprudence, un procès est dénué de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre et qu'elles ne peuvent être considérées comme sérieuses, au point qu'un plaideur raisonnable et de condition aisée renoncerait à s'y engager en raison des frais qu'il s'exposerait à devoir supporter (arrêt précité du 24 février 2012, destiné à la publication, consid. 2.2.4; ATF 133 III 614 consid. 5 p. 616; 129 I 129 consid. 2.3.1 p. 135/136; 128 I 225 consid. 2.5.3 p. 236; 125 II 265 consid. 4b p. 275). La situation doit être appréciée au moment du dépôt de la requête et sur la base d'un examen sommaire (arrêt précité du 24 février 2012, destiné à la publication, consid. 2.2.4; ATF 133 III 614 consid. 5 p. 616 et les arrêts cités). La procédure d'octroi de l'assistance judiciaire gratuite ne doit pas constituer une sorte de procès à titre préjudiciel. Les allégations du requérant doivent être vérifiées. L'autorité peut tenir compte des faits connus d'elle, s'ils sont avérés; lorsqu'elle s'achemine vers le refus de l'assistance judiciaire, elle ne peut ni ignorer des faits qui tendraient à l'admission de la cause, ni renoncer à élucider la portée de faits essentiels encore peu clairs. S'il est inadmissible d'attendre l'administration des mesures probatoires pour se déterminer sur les chances de succès, l'autorité d'octroi de l'assistance judiciaire a néanmoins le pouvoir d'entreprendre une appréciation des preuves et des offres de preuves, pour autant que celle-ci soit nécessaire à l'évaluation des perspectives de succès. En général, dans la procédure d'octroi de l'assistance judiciaire pour un procès civil ordinaire, l'appréciation se fait sur la base des pièces produites, soit de la preuve par titres (arrêt 4P.264/2005 du 17 janvier 2006 consid. 4.1.2; arrêt 4P.155/2002 du 2 septembre 2002 consid. 3.1 et les références).
2.3 L'action en libération de dette a pour objet la constatation de l'inexistence ou de l'inexigibilité de la créance invoquée par le créancier poursuivant au moment de la notification du commandement de payer (ATF 95 II 617 consid. 1 p. 620; arrêt 5A_127/2010 du 7 septembre 2010 consid. 3.1, in SJ 2011 I p. 133 consid. 3.1). Dans ce type d'action en constatation négative, le fardeau de l'allégation et le fardeau de la preuve résultant de l'art. 8 CC ne sont pas renversés. Il appartient donc au poursuivant de prouver l'existence et l'exigibilité de la créance (PIERRE-ROBERT GILLIÉRON, Poursuite pour dettes, faillite et concordat, 4e éd. 2005, n° 811 p. 161). En l'espèce, le recourant fait valoir, dans sa demande du 23 décembre 2010, que la banque n'a pas résilié valablement de manière anticipée le contrat de prêt hypothécaire du 28 avril 2004 portant sur 1'000'000 fr., dès lors qu'elle n'a pas prouvé que les conditions d'une telle résiliation étaient effectivement remplies, ni que le délai de résiliation de nonante jours prévu dans les conditions générales a été respecté. Toujours selon la demande, A._ n'a donc pas établi que la créance issue de ce prêt hypothécaire (créance causale) était exigible au moment de la poursuite en réalisation de gage immobilier, de sorte que la créance correspondante, incorporée dans la cédule hypothécaire (créance cédulaire), n'était pas exigible non plus. Le recourant a également introduit une action en paiement qui est d'une certaine manière liée à l'action en libération de dette, puisqu'elle tend à obtenir réparation du dommage qu'il aurait subi à la suite de la résiliation anticipée du prêt hypothécaire de 1'000'000 fr., prétendument contraire aux obligations contractuelles de la banque.
Par définition, toutes les preuves n'avaient pas été recueillies au moment du dépôt de la requête d'assistance judiciaire. Pour juger des chances de succès de l'action du recourant, la cour cantonale disposait ainsi de la requête d'assistance judiciaire et des pièces déposées par le recourant, en particulier du contrat de prêt hypothécaire du 28 avril 2004 portant sur 1'000'000 fr., de la cédule hypothécaire de 1'670'000 fr., de la convention de transfert de propriété à fin de garantie du 28 avril 2004, du courrier de A._ du 18 avril 2008, de la lettre recommandée de A._ du 26 novembre 2008, ainsi que de l'arrêt du 17 juin 2010 de la Cour des poursuites et faillites du Tribunal cantonal; cette décision retranscrivait les conditions générales afférentes aux prêts hypothécaires du 28 avril 2004. La question est de savoir si, sur la base de ces éléments, la cour cantonale pouvait, sans violer l'art. 29 al. 3 Cst., nier les chances de succès de l'action du recourant. Pour ce faire, il convient d'examiner ce qu'il en est de l'exigibilité de la créance de 1'000'000 fr. au moment de l'introduction de la poursuite en réalisation de gage.
2.4 Par lettre recommandée du 26 novembre 2008, la banque a résilié pour le 28 février 2009 entre autres le contrat de prêt hypothécaire portant sur 1'000'000 fr., dont l'échéance devait intervenir le 30 avril 2009. Elle n'invoque expressément aucun motif pour cette résiliation anticipée; elle se réfère en revanche à son courrier du 18 avril 2008 et à diverses poursuites qui ont déjà été engagées contre le recourant afin d'obtenir le remboursement des prêts. Les intérêts de retard, qui s'élèvent à 2'837 fr.55 pour le prêt de 1'000'000 fr., sont mentionnés dans le décompte. Dans le courrier du 18 avril 2008, la banque acceptait de patienter jusqu'au 31 juillet 2008 pour le paiement des arriérés d'intérêts et amortissements, qu'elle chiffrait alors à 76'863 fr.65. Il résulte par ailleurs de la requête d'assistance judiciaire elle-même que le recourant est détenu depuis le 2 février 2006 et qu'il ne dispose pas d'autres ressources que son pécule. La référence à de précédentes poursuites, la mention d'intérêts en retard, la détention du recourant qui durait déjà depuis plus de deux ans et qui, de l'aveu même de l'intéressé, affectait ses revenus, sont autant d'éléments indiquant qu'au moment de la résiliation du prêt en novembre 2008, la situation financière du recourant s'était détériorée. Or, il s'agit là précisément d'un motif de résiliation anticipée au sens des conditions générales assortissant le contrat de prêt hypothécaire. Le recourant prétend que la banque n'a elle-même jamais invoqué ce motif. Cette seule allégation n'apparaît pas déterminante. Au demeurant, on ne voit pas pourquoi la créancière ne pourrait pas motiver la résiliation anticipée par la suite, pour autant que le motif soit donné au moment de la résiliation. Quant à l'argument de la résiliation abusive, il ne convainc pas dans la mesure où il ressort des deux courriers à disposition que les parties étaient en discussion à propos des prêts hypothécaires litigieux depuis un certain temps déjà lorsque les crédits ont été dénoncés.
En ce qui concerne le respect du délai de nonante jours, la banque n'a bien entendu pas été en mesure de le démontrer puisque l'administration des preuves n'a pas encore eu lieu. Cela étant, la cour cantonale pouvait admettre sans arbitraire qu'un courrier recommandé daté du 26 novembre 2008 et adressé par une banque à un avocat était en tout cas parvenu à son destinataire le 5 décembre 2008, soit nonante jours avant la réquisition de poursuite.
2.5 Sur le vu de ce qui précède, la situation résultant des éléments à disposition de la cour cantonale apparaît suffisamment claire. L'exigibilité de la créance hypothécaire de 1'000'000 fr. et celle de la créance cédulaire de 1'670'000 fr. n'est guère contestable. L'arrêt attaqué ne consacre ainsi aucune violation de l'art. 29 al. 3 Cst. en confirmant que les actions en libération de dette et en paiement sont dénuées de chance de succès et en refusant pour ce motif le bénéfice de l'assistance judiciaire au recourant. Le recours ne peut être que rejeté sur ce point.
3. Prenant apparemment en considération l'hypothèse du rejet du recours, le recourant présente une conclusion subsidiaire tendant à la fixation d'un nouveau délai pour procéder à l'avance de frais dans la procédure cantonale au fond.
Dépourvu de toute motivation, ce chef de conclusions est irrecevable au regard de l'art. 42 al. 1 et 2 LTF.
4. Il résulte de ce qui précède que le recours était voué à l'échec. Par conséquent, la demande d'assistance judiciaire formée par le recourant sera rejetée en application de l'art. 64 al. 1 LTF.
Les frais judiciaires seront mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimé (art. 68 al. 3 LTF), d'autant qu'il n'a pas été amené à présenter des observations devant le Tribunal fédéral.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Il n'est pas alloué de dépens.
5. Le présent arrêt est communiqué au mandataire du recourant et à la Chambre des recours civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 juin 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Godat Zimmermann