Faits: A. Par «convention de crédit-cadre» des 6/11 septembre 2006, la banque F._ a accordé à A.A._ et à sa soeur, B.A._, en qualité de codébiteurs solidaires, une limite de crédit d'un montant maximum de 17'443'177 fr., utilisable sous forme d'hypothèques fixes d'un montant minimum de 1'000'000 fr. et d'une durée de un à sept ans; la relation bancaire était désignée sous le n° fff. Les dettes ainsi souscrites par les emprunteurs, y compris les intérêts et les commissions, étaient garanties par plusieurs cédules hypothécaires au porteur dont la propriété a été transférée à la banque; il y avait notamment les cédules suivantes grevant des parcelles de la commune de W._: - trois cédules de 3'500'000 fr., 2'500'000 fr. et 2'100'000 fr., grevant en 1er et parité de rang la parcelle n° 261, située rue ... ; - une cédule de 2'500'000 fr. grevant en 1er rang la parcelle n° 940, située avenue ... ; - deux cédules de 2'700'000 fr. et 500'000 fr. grevant, respectivement en 1er et 2ème rang, la parcelle n° 198, située avenue ... ; - une cédule de 400'000 fr. grevant en 1er rang la parcelle n° 200, située avenue ... . Selon le ch. 10.1 de la convention de crédit-cadre, la banque F._ pouvait résilier le contrat en tout temps et sans motifs particuliers; le remboursement des montants déjà utilisés était alors exigible à l'échéance de la durée convenue pour l'hypothèque fixe. En automne 2008, les parties ont été amenées à renégocier leurs relations et, dans ce cadre, A.A._ a demandé un délai de réflexion. La banque F._ a alors adressé au conseil de A.A._ une lettre datée du 12 décembre 2008, dont la teneur est la suivante: «Monsieur [A.A._] et Madame [B.A._] no [fff] Nous nous référons à l'entretien d'hier que nous avons eu ensemble avec M. [A.A._], [à ...]. Ces discussions ont porté sur l'ensemble de nos relations, et doivent faire l'objet de réflexions de votre part. Vous nous avez demandé de patienter encore jusqu'à fin janvier 2009 pour une décision. Nous sommes prêts à accéder à votre demande, pour autant que Monsieur [A.A._] et Me [E._], qui reçoit copie de la présente en sa qualité de représentant de Madame [B.A._], reconnaissent par leur signature sur le double de la présente que a) la créance de CHF 5'994'000 en prêt hypothécaire no [fff] H1 C 0002, échue au 30.9.2008, et qui fait l'objet de notre proposition de contrat du 8 octobre 2008, est due et exigible et porte un intérêt de 4 % l'an dès le 30.9.2008, jusqu'à nouvel avis de notre part, et que b) la créance de CHF 8'000'000 en prêt hypothécaire no [fff] H1 J 0007, échue depuis le 3.11.2008, est due et exigible, et porte un intérêt de 4 % l'an dès le 4.11.2008 jusqu'à nouvel avis de notre part. Nous vous remercions d'avance de nous confirmer cet accord d'ici au 22 décembre 2008. (...)» Au-dessus de sa signature apposée le 17 décembre 2008 sur la lettre précitée, A.A._ a ajouté de sa main les éléments suivants: «Concernant M. [A.A._], l'ensemble des relations avec [la banque F._] comprend également le prêt n° [hhh] H1K + H1C + H1x.» et «Pour accord sur la présente avec les annotations ci-dessus». Pour sa part, Me E._, pour B.A._, a contresigné une copie de la lettre du 12 décembre 2008, après y avoir ajouté la mention «bon pour accord». Les parties n'ont pas trouvé de terrain d'entente. En conséquence, par lettre du 12 février 2009, la banque F._ a dénoncé la convention de crédit-cadre des 6/11 septembre 2006 et demandé le remboursement des deux prêts échus mentionnés dans la lettre du 12 décembre 2008; la banque réclamait également le remboursement d'un troisième prêt, d'un peu plus de 3'000'000 fr., accordé en exécution de la convention de crédit-cadre et qui devait venir à échéance le 17 avril 2009. La banque F._ a introduit ensuite plusieurs poursuites en réalisation de gage. Ainsi, le 19 mai 2009, l'Office des poursuites de l'arrondissement de W._ a notifié à A.A._ un commandement de payer dans la poursuite en réalisation de gage immobilier n° yyy portant sur les sommes de 3'500'000 fr., 2'500'000 fr. et 2'100'000 fr., chacune avec intérêts à 10 % dès le 18 avril 2009. Le commandement de payer contenait les indications suivantes: «Titre de la créance ou cause de l'obligation: Montant dû au 17.04.2009, en capital, sur la cédule hypothécaire au porteur RF no [...] remise en pleine propriété selon acte de transfert du 11.09.2006 et grevant en 1er rang la parcelle désignée sous objet du gage. Montant dû au 17.04.2009, en capital, sur la cédule hypothécaire au porteur RF no [...] remise en pleine propriété selon acte de transfert du 11.09.2006 et grevant en 1er rang la parcelle désignée sous objet du gage. Montant dû au 17.04.2009, en capital, sur la cédule hypothécaire au porteur RF no [...] remise en pleine propriété selon acte de transfert du 11.09.2006 et grevant en 1er rang la parcelle désignée sous objet du gage. Ces titres garantissent les engagements souscrits par les codébiteurs sous la relation n° fff et totalisant 17'158'741.86 CHF conformément à notre correspondance du 12 février 2009. Ces engagements sont également garantis par d'autres immeubles faisant l'objet de poursuites distinctes. Créances exigibles au remboursement.» «Désignation de l'immeuble: Parcelle RF 261, fo [...] sise Rue [...] à [W._], consistant en place-jardin, habitation et garage d'une surface totale de 1'408 m2. Propriété en mains communes de Monsieur [A.A._] et Madame [B.A._].» Le poursuivi a fait opposition totale. La banque a requis la mainlevée provisoire de l'opposition. Par prononcé du 2 septembre 2009, le Juge de paix du district de la Riviera - Pays-d'Enhaut a prononcé la mainlevée provisoire de l'opposition à concurrence de 3'500'000 fr. plus intérêts à 10 % dès le 18 avril 2009, de 2'500'000 fr. plus intérêts à 10 % dès le 18 avril 2009 et de 2'100'000 fr. plus intérêts à 10 % dès le 18 avril 2009; il a constaté l'existence du droit de gage. Sur recours du poursuivi, la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud a, par arrêt du 17 juin 2010 notifié en expédition complète le 10 décembre 2010, réformé le prononcé du juge de paix en ce sens que l'opposition était provisoirement levée à concurrence des montants de 3'500'000 fr. plus intérêts à 5 % dès le 18 avril 2009, de 2'500'000 fr. plus intérêts à 5 % dès le 18 avril 2009 et de 2'100'000 fr. plus intérêts à 5 % dès le 18 avril 2009, l'opposition étant maintenue pour le surplus. Dans les considérants de sa décision, la Cour des poursuites et faillites a retenu que la poursuivante n'avait pas établi que le troisième prêt, d'un peu plus de 3'000'000 fr., était exigible; seule une somme en capital de 14'087'480 fr., correspondant aux deux premiers prêts, était ainsi exigible le 21 avril 2009, lors de l'envoi des réquisitions de poursuite. En vertu du pactum de non petendo qu'impliquait nécessairement la convention de transfert fiduciaire et qui oblige le créancier à ne pas faire usage des créances incorporées, c'est-à-dire en poursuivre le paiement, au-delà de ce qui est nécessaire à la fonction de garantie, le premier juge ne pouvait accorder la mainlevée dans les différentes procédures parallèles qu'à concurrence du total de la somme précitée, avec au surplus un intérêt moratoire limité à celui applicable à la créance causale, soit au taux de 5 % l'an (art. 104 al. 1 CO). Déterminant pour quelles cédules la mainlevée pouvait être octroyée, la cour cantonale s'est fondée sur l'ordre figurant dans la convention de crédit-cadre, au lieu du numéro attribué par l'office aux différentes poursuites, toutes requises le même jour; elle a ainsi considéré que la mainlevée pouvait être accordée pour les poursuites en réalisation de gage concernant les parcelles n° 261 (3'500'000 fr., 2'500'000 fr. et 2'100'000 fr.), n° 940 (2'500'000 fr.), n° 198 (2'700'000 fr. et 500'000 fr.) et partiellement pour la poursuite concernant la parcelle n° 200, à concurrence de 287'480 fr. (soit 14'087'480 fr. moins 13'800'000 fr.), la mainlevée devant en revanche être refusée pour les autres poursuites concernant d'autres parcelles. Contre cet arrêt, A.A._ a interjeté un recours en matière civile en date du 27 janvier 2011. La banque F._ en a fait de même. B. Le 23 décembre 2010, A.A._ a ouvert action en libération de dette et déposé une demande en paiement devant la Cour civile du Tribunal cantonal du canton de Vaud (cause CO 10.042452). Sur l'action en libération de dette, il conclut à ce qu'il soit constaté qu'il n'est pas le débiteur de la banque F._ des montants de 3'500'000 fr., de 2'500'000 fr. et de 2'100'000 fr., à ce que la poursuite n° yyy n'aille pas sa voie, l'opposition au commandement de payer étant maintenue, et à la radiation de ladite poursuite. Sur la demande en paiement, il conclut à la condamnation de la banque F._ à lui verser un montant à déterminer en cours de procédure. Le 27 décembre 2010, un délai échéant le 19 janvier 2011 a été imparti à A.A._ pour verser l'avance des frais de demande par 41'500 fr. Ce délai a été prolongé au 11 février 2011, puis au 16 mars 2011. Le 16 mars 2011, A.A._ a déposé une demande d'assistance judiciaire dans le procès en libération de dette et en paiement qui l'oppose à la banque F._. Par prononcé du 23 mars 2011, le juge délégué de la Cour civile a refusé au requérant le bénéfice de l'assistance judiciaire, considérant que sa cause était dénuée de chances de succès. A.A._ a interjeté recours contre cette décision. Par arrêt du 4 mai 2011 dont les considérants ont été envoyés le 26 août 2011, la Chambre des recours civile du Tribunal cantonal du canton de Vaud a rejeté le recours et confirmé la décision du 23 mars 2011. En substance, elle a jugé que, par sa signature sur la lettre du 12 décembre 2008, A.A._ avait reconnu l'exigibilité des créances y mentionnées, les adjonctions manuscrites qu'il avait apportées sur ce document ne pouvant être considérées comme une condition valant contre-offre. C. A.A._ forme un recours en matière civile. Principalement, il demande à être mis au bénéfice de l'assistance judiciaire en ce qui concerne le paiement des frais judiciaires relatifs à son action en libération de dette et à sa demande en paiement dans la cause CO 10.042452. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants du Tribunal fédéral. Encore plus subsidiairement, il demande au Tribunal fédéral de lui impartir un nouveau délai pour procéder au versement de l'avance de frais dans la cause CO 10.042452. Par ailleurs, le recourant requiert l'assistance judiciaire pour la procédure devant le Tribunal fédéral; il limite sa demande à la dispense du paiement des frais judiciaires. Le recourant a également présenté une requête d'effet suspensif. Par ordonnance du 12 octobre 2011, la Présidente de la cour de céans a accordé l'effet suspensif au recours. Invitée à se déterminer sur le recours, la Chambre des recours civile cour cantonale a déclaré se référer aux considérants de sa décision.