Faits:
A. Le 3 juin 2005, X._ et Y._ ont vendu à A._ SA la totalité du capital-actions de la société B._ SA.
La société B._ SA possède 83,33% des actions de C._ SA et 95% des actions de D._ SA.
X._ et Y._ étaient membres du conseil d'administration de C._ SA et de D._ SA . Z._ est devenu l'administrateur unique de B._ SA.
Lors d'une assemblée générale extraordinaire du 30 avril 2008, X._ et Y._ ont été évincés du conseil d'administration de C._ SA et de D._ SA; ils ont été remplacés par Z._ en qualité d'administrateur unique. X._ et Y._ ont agi en justice en vue d'empêcher l'inscription de ces décisions au registre du commerce.
Le 14 juillet 2008, X._ et Y._ ont avisé le juge du surendettement des deux sociétés.
Le 6 août 2008, les précités ont assisté à une audience tenue par le juge de district de Monthey, au cours de laquelle il a été mentionné que bien que la continuation de l'exploitation fût difficilement envisageable, un ajournement de la faillite pendant deux mois était décidé pour permettre de trouver une solution.
Alors qu'UBS SA avait dénoncé au remboursement des prêts accordés aux deux sociétés et exigeait des garanties supplémentaires, X._ et Y._, par actes du 5 novembre 2008, ont remis en nantissement à la banque des cédules hypothécaires.
La faillite des sociétés C._ SA et D._ SA a été prononcée le 8 janvier 2009.
Sur la base des actes de nantissement, UBS SA a ouvert une poursuite contre X._ et Y._ et la mainlevée a été prononcée.
B. Le 28 juillet 2010, X._ et Y._ ont déposé devant le Tribunal civil de l'arrondissement de la Sarine une action en libération de dette contre UBS SA, concluant à ce qu'ils ne soient pas reconnus débiteurs de celle-ci du montant cumulé de 650'000 fr. qui leur était réclamé.
Par mémoire séparé du 26 novembre 2010, ils ont requis du Président du Tribunal civil de l'arrondissement de la Sarine d'être mis au bénéfice de l'assistance judiciaire totale.
Par décision du 11 février 2011, le Président du Tribunal a rejeté les requêtes d'assistance judiciaire, considérant que l'action en libération de dette n'avait pas de chances raisonnables de succès.
Statuant sur recours par arrêt du 7 juillet 2011, la IIe Cour d'appel civil du Tribunal cantonal fribourgeois a confirmé la décision attaquée.
C. X._ et Y._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Invoquant une violation de l'art. 29 al. 3 Cst., ils concluent à l'annulation de l'arrêt attaqué et à ce qu'ils soient mis au bénéfice de l'assistance judiciaire totale pour toute la durée de la procédure d'action en libération de dette, l'avocat Louis-Marc Perroud devant être désigné en qualité d'avocat d'office; ils sollicitent également l'assistance judiciaire pour la procédure devant le Tribunal fédéral. Leur requête d'effet suspensif a été admise par ordonnance présidentielle du 6 septembre 2011.
Considérant en droit:
1. 1.1 La décision qui refuse l'assistance judiciaire est une décision incidente susceptible de causer un préjudice irréparable, de sorte que le recours immédiat au Tribunal fédéral est ouvert en vertu de l'art. 93 al. 1 let. a LTF (ATF 129 I 129 consid. 1.1; 125 I 161 consid. 1 p. 162).
1.2 Interjeté par les parties qui ont succombé dans leurs conclusions tendant à l'octroi de l'assistance judiciaire (et qui ont donc qualité pour recourir: art. 76 al. 1 LTF), dirigé contre une décision rendue par une autorité cantonale de dernière instance statuant sur recours (art. 75 LTF) dans une procédure au fond qui relève du droit civil (art. 72 al. 1 LTF; arrêt 5A_108/2007 du 11 mai 2007) et dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 51 al. 1 let. c et 74 al. 1 let. b LTF), le recours est recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.3 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé pour violation d'un droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313), mais non pour violation du droit cantonal (ATF 136 I 241 consid. 2.4 p. 249), sauf à invoquer l'arbitraire dans l'application du droit cantonal (ATF 134 III 379 consid. 1.2 p. 382 s.).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc lié ni par les arguments invoqués par la partie recourante, ni par les motifs retenus par la cour cantonale (ATF 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 136 II 304 consid. 2.4) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 136 I 184 consid. 1.2 p. 187; 133 IV 286 consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, la cour cantonale a adopté expressément l'argumentation du juge de première instance, dont elle a résumé succinctement l'état de fait; la décision de première instance se réfère elle-même expressément à un arrêt du Tribunal fédéral en relation avec les faits de la cause (arrêt 4A_389/2008 du 31 octobre 2008); en pareilles circonstances, il y a lieu d'admettre que les faits énoncés dans les décisions citées sont incorporés dans l'arrêt cantonal, de sorte qu'il est possible de s'y référer pour compléter les constatations cantonales dans la mesure utile à la compréhension de la cause (cf. ATF 129 IV 246 consid. 1 p. 248).
Les recourants contestent globalement l'arrêt cantonal, mais ils n'essayent pas de démontrer que l'un ou l'autre des faits décisifs relatés ci-dessus aurait été retenu arbitrairement (cf. art. 106 al. 2 LTF). Ils tentent plutôt de compléter l'état de fait en ajoutant des éléments extraits des pièces produites; ils ne démontrent cependant pas que ces éléments seraient de nature à modifier l'issue du litige (cf. art. 97 al. 1 LTF). A ce stade de la procédure, il n'y a eu aucune administration des preuves et les recourants, pour contester l'état de fait, auraient dû montrer qu'ils avaient régulièrement allégué un fait décisif et expliqué comment ils comptaient le prouver, afin d'étayer les chances de succès de leur action. La motivation des recourants ne répond pas à ces exigences, de sorte qu'il faut s'en tenir aux faits constatés par la cour cantonale, que ce soit directement dans son arrêt ou indirectement par renvoi.
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Le présent recours a pour objet le refus de l'assistance judiciaire en vue du procès en libération de dette que les recourants entendent conduire.
L'action en libération de dette a été introduite devant le Tribunal civil de l'arrondissement de la Sarine avant l'introduction, le 1er janvier 2011, du Code suisse de procédure civile (CPC; RS 272). En conséquence, la procédure devant cette autorité reste soumise au droit cantonal jusqu'à la clôture de l'instance (art. 404 al. 1 CPC). Les conditions d'octroi de l'assistance judiciaire pour cette procédure sont donc régies en première ligne par le droit cantonal, tandis que l'art. 29 al. 3 Cst. offre une garantie minimale (ATF 135 I 91 consid. 2.4.2 p. 95).
La décision prise par le Président du Tribunal civil de l'arrondissement de la Sarine a été envoyée aux parties après l'entrée en vigueur du CPC, de sorte que les voies de recours ouvertes contre cette décision sont régies par le nouveau droit (art. 405 al. 1 CPC). La cour cantonale a donc considéré à juste titre qu'il s'agissait d'un recours au sens des art. 319 ss CPC, par application de l'art. 121 CPC. Comme cette voie de recours ne tend en principe qu'à contrôler la bonne application du droit par l'autorité inférieure, la question de l'octroi de l'assistance judiciaire restait soumise au droit cantonal et à l'art. 29 al. 3 Cst. (ANDREAS FREI/DANIEL WILLISEGGER, in Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, n° 15 ad art. 405 CPC; DENIS TAPPY in Code de procédure civile commenté, 2011, n° 27 ad art. 405 CPC). De toute manière, les conditions de l'assistance judiciaire selon le nouveau droit (art. 117 CPC) ne sont pas différentes de celles prévues, en tant que garantie minimale, par l'art. 29 al. 3 Cst.
En l'espèce, les recourants n'invoquent pas une violation arbitraire du droit cantonal et ne citent aucune disposition de la procédure cantonale; il n'y a donc pas lieu d'examiner la question sous l'angle du droit cantonal (art. 106 al. 2 LTF). La question litigieuse doit donc être tranchée exclusivement à la lumière de l'art. 29 al. 3 Cst., qui est expressément invoqué par les recourants.
Il résulte de cette disposition constitutionnelle que l'assistance judiciaire ne doit être accordée qu'à la double condition que le requérant ne dispose pas de ressources suffisantes et que sa cause ne paraisse pas dépourvue de toute chance de succès (art. 29 al. 3 Cst.). En l'espèce, la question litigieuse est de savoir si l'action en libération de dette est ou non dépourvue de chances de succès.
Selon la jurisprudence, une procédure doit être considérée comme dépourvue de chances de succès si les risques de perdre sont sensiblement supérieurs aux chances de gagner; en revanche, la démarche n'est pas dépourvue de chances de succès si les chances de gagner et les risques de perdre sont à peu près équivalents ou si les premières ne sont que de peu inférieures aux seconds. Ce qui est déterminant, c'est de savoir si une partie, qui disposerait de ressources financières nécessaires, se lancerait ou non dans le procès après une analyse raisonnable; une partie ne doit pas pouvoir mener un procès qu'elle ne conduirait pas à ses propres frais, uniquement parce qu'il ne lui coûte rien (ATF 133 III 614 consid. 5 p. 616; 129 I 129 consid. 2.3.1).
2.1.1 En l'espèce, les recourants entendent fonder leur action en libération de dette principalement sur l'argument selon lequel les actes de nantissement seraient invalidés pour cause d'erreur essentielle.
2.1.2 Il y a erreur lorsqu'une personne, en se faisant une fausse représentation de la situation, manifeste une volonté qui ne correspond pas à celle qu'elle aurait exprimée si elle ne s'était pas trompée. Savoir si une personne, au moment de passer un acte juridique, se trouvait dans l'erreur est une question de fait (ATF 134 III 643 consid. 5.3.1 p. 650; 118 II 58 consid. 3a p. 62). Nul ne peut invalider un acte juridique sur la base des art. 23 ss CO si, en réalité, il n'était pas dans l'erreur (ATF 128 III 70 consid. 1b p. 74). Il incombe à celui qui invoque une erreur pour échapper aux conséquences d'un acte juridique d'apporter la preuve que ses représentations internes étaient erronées (arrêt 4A_641/2010 du 23 février 2011 consid. 3.5.1, in SJ 2011 I p. 321, et les références citées).
Selon l'art. 23 CO, le contrat n'oblige pas celle des parties qui, au moment de le conclure, était dans une erreur essentielle. Il ressort de l'art. 24 al. 1 ch. 4 CO que l'erreur est essentielle notamment lorsqu'elle porte sur des faits que la loyauté commerciale permettait à celui qui se prévaut de son erreur de considérer comme des éléments nécessaires du contrat. Pour que ce cas d'erreur essentielle soit réalisé, il faut tout d'abord que le cocontractant puisse se rendre compte, de bonne foi, que l'erreur de l'autre partie porte sur un fait qui était objectivement de nature à la déterminer à conclure le contrat ou à le conclure aux conditions convenues; il faut encore, en se plaçant du point de vue de la partie qui était dans l'erreur, que l'on puisse admettre subjectivement que son erreur l'a effectivement déterminée à conclure le contrat ou à le conclure aux conditions convenues (ATF 135 III 537 consid. 2.2 p. 541 s.; 132 III 733 consid. 1.4 p. 741). Ce que les parties avaient à l'esprit au moment de conclure ressortit au fait; savoir si l'erreur doit être qualifiée d'essentielle au sens de l'art. 24 al. 1 ch. 4 CO est en revanche une question de droit (ATF 135 III 537 consid. 2.2 p. 542; 113 II 25 consid. 1a p. 27).
L'erreur essentielle de l'art. 24 al. 1 ch. 4 CO peut porter sur un fait futur, mais seulement si, lors de la conclusion du contrat, ce fait pouvait objectivement être tenu pour certain; l'erreur au sens de cette disposition est au contraire exclue lorsque le fait futur était expectatif ou aléatoire (arrêt 4A_641/2010 déjà cité consid. 3.5.2 et les références mentionnées).
2.1.3 Les recourants expliquent qu'ils espéraient, au moment de conclure les actes de nantissement, que les deux sociétés pourraient être assainies ou en tout cas que des efforts seraient encore entrepris dans ce sens. Ils ne prétendent cependant pas, dans leurs allégués, que l'intimée ou qui que ce soit d'autre leur aurait donné la moindre assurance dans ce sens. Les recourants avaient eux-mêmes donné au juge l'avis de surendettement et ils savaient que seul un délai de deux mois avait été accordé. Alors qu'ils connaissaient parfaitement la situation financière des deux sociétés qu'ils administraient en fait, ils n'expliquent pas comment un assainissement pouvait être sérieusement envisagé. L'assainissement était donc clairement pour eux un fait futur aléatoire, ce qui - comme on vient de le voir - ne peut donner lieu à une invalidation pour erreur essentielle.
Les recourants font valoir aussi qu'ils ne s'attendaient pas à ce que la faillite soit prononcée aussi rapidement. Ils ne prétendent pas que l'intimée ou qui que ce soit d'autre leur aurait donné la moindre assurance quant à la date de la faillite. Ils savaient que le juge n'avait accordé qu'un délai de deux mois et qu'un assainissement était purement aléatoire. Ils devaient donc s'attendre à ce que la faillite soit prononcée d'un moment à l'autre. Qu'ils aient espéré qu'elle intervienne plus tard n'est qu'une spéculation sur un fait futur, ce qui - comme on l'a vu - ne peut donner lieu à une invalidation pour erreur essentielle.
Les recourants soutiennent aussi qu'ils ne pensaient pas que l'intimée ferait valoir aussi rapidement son droit de gage. Ils ne prétendent cependant pas, dans leurs allégués, que l'intimée leur aurait donné la moindre assurance à ce sujet. Ils ne pouvaient sérieusement s'imaginer que la banque demandait des garanties pour ne pas les faire valoir. S'ils ont espéré que la banque attendrait davantage, ils ont fait une pure spéculation sur un fait futur, ce qui - comme on l'a vu - ne permet pas d'invalider le contrat pour erreur essentielle.
Les recourants font grand cas du fait que l'administrateur de la société mère a été inscrit, le jour-même de la signature des actes de nantissement, comme représentant exclusif des deux sociétés évoquées. On ne voit cependant pas où ils veulent en venir avec cet argument. Dès la vente du capital-actions de la société mère, les recourants savaient qu'ils n'avaient plus le contrôle économique des deux sociétés citées. Depuis l'assemblée générale extraordinaire, ils savaient que la majorité des actionnaires avaient décidé de les remplacer par l'administrateur de la société mère. N'ayant pas la majorité, on ne voit pas comment les recourants pouvaient espérer renverser la situation et empêcher cette inscription qui devait intervenir tôt ou tard. S'ils ont néanmoins espéré un coup de théâtre, il s'agit d'une pure spéculation qui ne saurait fonder une erreur essentielle.
Ainsi, l'action en libération de dette, en tant qu'elle est fondée sur l'erreur essentielle, apparaît dépourvue de chances de succès.
Ainsi, l'action en libération de dette, en tant qu'elle est fondée sur l'erreur essentielle, apparaît dépourvue de chances de succès.
2.2 2.2.1 Les recourants fondent subsidiairement leur action en libération de dette sur l'argument selon lequel les actes de nantissement devraient être invalidés pour cause de dol (art. 28 CO).
2.2.2 Il y a dol au sens de l'art. 28 CO lorsque l'un des cocontractants, de manière illicite, fait croire à des faits faux ou dissimule des faits vrais, alors que ceux-ci sont déterminants pour la décision de son partenaire de conclure le contrat ou, à tout le moins, de le conclure aux conditions convenues (ATF 132 II 161 consid. 4.1 p. 165 s.). Savoir dans quelles circonstances se sont déroulés les pourparlers, respectivement la conclusion du contrat, et s'il y a eu un comportement trompeur de la part d'une partie relève des constatations de fait (arrêt 4A_641/2010 déjà cité consid. 3.4.1). Il incombe à celui qui invoque un dol pour échapper aux conséquences d'un acte juridique d'apporter la preuve qu'il y a eu tromperie et que celle-ci l'a déterminé à contracter (cf. ATF 129 III 620 consid. 6.3 p. 327; arrêt 4A_641/2010 ibidem).
2.2.3 En l'espèce, les recourants ne montrent pas qu'ils aient allégué et offert en preuve, de manière précise, des faits qui pourraient constituer une tromperie de la part de l'intimée. La banque, dès lors qu'elle n'avait donné aucune assurance à ce propos, décidait librement du moment où elle entendait poursuivre les recourants sur la base des actes de nantissement et on ne voit pas où réside la tromperie dans le fait que la banque a décidé d'agir sans attendre. Les recourants n'allèguent pas clairement que la banque aurait su, mieux qu'eux-mêmes, que la faillite était imminente et qu'il n'y avait plus d'espoir d'assainissement. Dans une action en libération de dette, de vagues sous-entendus ne peuvent suppléer des allégués et des preuves. Ainsi, on ne parvient pas à voir comment les recourants pourraient prouver que l'intimée a commis une tromperie à leur égard sur un point essentiel pour la conclusion des contrats de gage.
Sous cet angle également, l'action en libération de dette apparaît dépourvue de chances de succès.
Devant la cour cantonale, les recourants ont soutenu que la banque aurait violé un devoir d'information découlant des règles du mandat. D'après les constatations cantonales qui lient le Tribunal fédéral (art. 105 al. 1 LTF), les seuls contrats conclus personnellement par les recourants avec la banque sont les actes de nantissement. Or, un tel contrat (cf. art. 884 ss CC) ne comporte aucun devoir de veiller aux intérêts du cocontractant, à la différence des règles applicables en cas de mandat (art. 398 al. 1 et 321a al. 1 CO). Cet argument est donc dépourvu de toute consistance juridique.
Devant le Tribunal fédéral, les recourants semblent plutôt invoquer une violation des règles de la bonne foi (art. 2 al. 2 CC). Ils font valoir en particulier que la banque avait des contacts directs avec l'administrateur de la société mère. On ne voit pas cependant en quoi cela pourrait affecter les actes de nantissement conclus. Cette argumentation se confond plus ou moins avec celle fondée sur le dol et ne peut recevoir un sort différent.
Les recourants font surtout valoir qu'ils auraient agi déraisonnablement en concluant les actes de nantissement dans les circonstances d'espèce. Cela ne saurait toutefois leur permettre d'échapper aux engagements qu'ils ont pris, surtout que l'on peut aussi imaginer qu'ils ont voulu ainsi se soustraire à une éventuelle action en responsabilité contre les administrateurs (art. 754 CO).
En considérant, sur la base de la demande déposée, que l'action en libération de dette était dépourvue de toutes chances de succès, la cour cantonale n'a pas violé l'art. 29 al. 3 Cst.
Le recours doit être rejeté.
3. A la suite de l'analyse qui précède, il apparaît que le recours en matière civile était également voué à l'échec (art. 64 al. 1 LTF), de sorte que l'assistance judiciaire doit être refusée pour la procédure devant le Tribunal fédéral.
Les recourants, qui succombent, supporteront solidairement les frais judiciaires (art. 66 al. 1 et 5 LTF). En revanche il n'y a pas lieu d'allouer des dépens à l'intimée (art. 68 al. 1 et 2 LTF), puisqu'elle n'est pas intervenue dans la procédure devant le Tribunal fédéral.
Par ces motifs, le Tribunal fédéral prononce:
1. L'assistance judiciaire est refusée.
2. Le recours est rejeté.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
4. Il n'est pas alloué de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et au Tribunal cantonal de l'État de Fribourg, IIe Cour d'appel civil.
Lausanne, le 1er novembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet