Faits:
A. A.a Par contrat du 5 juin 2003, Z._ a donné à bail à X._ et Y._, pour le 1er juillet 2003, une maison villageoise sise à ..., avec deux places de parc extérieures. Le loyer mensuel net a été fixé à 3'600 fr. La bailleresse n'a pas fait usage de la formule officielle relative à la notification du loyer lors de la conclusion d'un nouveau bail.
Saisi par les locataires d'une action en contestation du loyer initial et en remboursement du trop-perçu, le Tribunal des baux du canton de Vaud l'a admise, par jugement du 4 septembre 2008. Il a fixé le loyer mensuel net dû par les locataires à 2'750 fr. dès le 1er juillet 2003 et condamné la bailleresse à verser à ceux-ci la somme de 53'550 fr., plus intérêts à 5% l'an dès le 30 juin 2008, au titre du trop-perçu sur les loyers du 1er juillet 2003 au 30 septembre 2008. La Chambre des recours du Tribunal cantonal vaudois a confirmé ce jugement par arrêt du 24 août 2009.
Sur la base d'une transaction judiciaire du 11 décembre 2007, qui autorisait les locataires, dont le bail avait été résilié pour le 30 septembre 2007, à rester dans les lieux jusqu'au 30 septembre 2009, la bailleresse a requis l'évacuation forcée des occupants en date du 5 octobre 2009. Par ordonnance du 16 novembre 2009, le Juge de paix du district de Nyon a fait droit à cette requête. La maison et les deux places de parc ont été libérées le 17 décembre 2009.
A.b Le 5 octobre 2009, X._ et Y._ ont fait notifier à Z._ un commandement de payer portant sur la somme et les intérêts précités, alloués par le jugement du Tribunal des baux du 4 septembre 2008 (poursuite n° xxx de l'Office des poursuites du district de Nyon). L'opposition formée par la poursuivie a été définitivement levée par décision du 24 novembre 2009 du juge compétent.
Par arrêt du 15 avril 2010, la Cour des poursuites et faillites du Tribunal cantonal vaudois a partiellement admis le recours déposé par Z._ contre ladite décision qu'elle a réformée en ce sens que la mainlevée définitive était prononcée à concurrence de 53'550 fr., plus intérêts à 5% l'an dès le 30 juin 2008, sous déduction de 30'250 fr., valeur au 1er mai 2009. Les juges cantonaux ont notamment retenu que Z._ avait valablement opposé en compensation à la créance formant l'objet de la décision de mainlevée une créance de 30'250 fr. (11 x 2'750 fr.) correspondant aux loyers dus par les poursuivants pour la période de novembre 2008 à septembre 2009, loyers dont le paiement n'était pas établi ni même allégué. Ils ont, en revanche, constaté que le contrat de bail ne valait pas reconnaissance de dette pour une indemnité à titre d'occupation illicite, soit pour la période consécutive à la fin des rapports de bail, intervenue le 30 septembre 2009.
Se prévalant du caractère exécutoire de l'arrêt cantonal du 15 avril 2010, X._ et Y._ ont requis la continuation de la poursuite n° xxx. Par avis du 7 juillet 2010, l'Office des poursuites du district de Nyon a informé Z._ qu'il procéderait à la saisie de ses biens le 5 août 2010.
A.c Par requête déposée le 16 juillet 2010 devant la Commission de conciliation en matière de baux et loyers du district de Nyon, Z._, se fondant sur l'art. 85a LP, a introduit une action en constatation négative et en annulation de la susdite poursuite, dirigée contre X._ et Y._. Elle a simultanément requis la suspension provisoire de cette poursuite jusqu'à droit connu sur le sort de cette action. Rejetée dans un premier temps, cette requête a été admise par le Tribunal des baux en date du 4 octobre 2010.
Entre-temps, soit le 17 septembre 2010, Z._ avait déposé, devant le Tribunal des baux, sa demande tendant à faire constater qu'elle ne doit pas le montant de 53'550 fr. avec intérêt au taux de 5 % l'an dès le 30 juin 2008 et à obtenir la radiation de la poursuite n° xxx.
Dans leur mémoire du 3 janvier 2011, X._ et Y._ ont conclu à ce qu'il soit constaté que Z._ reste leur devoir la somme de 53'550 fr., avec intérêts à 5% l'an dès le 30 juin 2008, frais d'encaissement en sus, sous déduction de 30'250 fr., valeur au 1er mai 2009, et à ce que la poursuite litigieuse ne soit pas annulée.
Par jugement du 12 janvier 2011, le Tribunal des baux a dit que Z._ n'est pas débitrice de X._ et Y._ de la somme de 53'550 fr. avec intérêt au taux de 5 % l'an dès le 30 juin 2008. En conséquence, il a annulé la poursuite y relative. Ledit jugement a été rendu sans frais ni dépens.
B. Le 14 décembre 2011, X._ et Y._ ont interjeté appel contre le jugement du Tribunal des baux en reprenant les conclusions qu'ils avaient formulées en première instance. Ils ont, en outre, requis ultérieurement leur mise au bénéfice de l'assistance judiciaire.
Z._ n'a pas été invitée à se déterminer sur cet appel.
Par arrêt du 9 mars 2012, la Cour d'appel civile du Tribunal cantonal vaudois, statuant selon la procédure de l'art. 312 al. 1 CPC, a rejeté l'appel et confirmé le jugement attaqué. Admettant la requête d'assistance judiciaire partielle des appelants, tendant à la dispense de l'avance de frais, elle a laissé les frais judiciaires de deuxième instance, arrêtés à 1'130 fr., à la charge de l'Etat, tout en astreignant les appelants au paiement d'une franchise mensuelle de 50 fr. dès le 1er mai 2012.
C. Le 11 avril 2012, X._ et Y._ (ci-après: les recourants) ont déposé un recours en matière civile au terme duquel ils invitent le Tribunal fédéral a faire droit, sur le fond, aux conclusions qu'ils avaient soumises sans succès aux juridictions précédentes et, s'agissant des frais, à ne pas les astreindre au paiement d'une franchise mensuelle. Dans leur lettre d'accompagnement, les recourants ont, en outre, requis l'octroi de l'effet suspensif. Puis, par lettre du 19 juillet 2012, ils ont demandé à être mis au bénéfice de l'assistance judiciaire.
Z._ (ci-après: l'intimée) et la cour cantonale, qui a produit son dossier, n'ont pas été priées de déposer une réponse. La première a conclu au rejet de la requête d'effet suspensif dans une lettre du 13 août 2012, tandis que la seconde a indiqué, dans une lettre du 20 juillet 2012, qu'elle s'en remettait à justice sur ce point.
Considérant en droit:
1. 1.1 Dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF) dans une affaire en matière de bail à loyer dont la valeur litigieuse atteint le seuil prescrit (art. 74 al. 1 let. a LTF), le présent recours en matière civile est recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi. Demeure réservé l'examen de la recevabilité des griefs qui y sont articulés.
1.2 Le recours est ouvert pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral applique ce droit d'office (art. 106 al. 1 LTF). Il n'est pas lié par l'argumentation des parties, apprécie librement la portée juridique des faits, mais s'en tient, d'ordinaire, aux questions juridiques soulevées dans le mémoire de recours (art. 42 al. 2 LTF; ATF 135 III 397 consid. 1.4 p. 400; 133 II 249 consid. 1.4.1 p. 254); il ne se prononce sur la violation de droits fondamentaux que si le grief correspondant a été invoqué et motivé par le recourant (art. 106 al. 2 LTF; ATF 134 I 83 consid. 3.2 p. 88; 134 II 244 consid. 2.2 p. 246; 133 II 249 consid. 1.4.2).
Le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits constatés dans la décision attaquée (art. 105 al. 1 LTF); en règle générale, les allégations de fait et les moyens de preuve nouveaux sont irrecevables (art. 99 al. 1 LTF). Le tribunal peut compléter ou rectifier même d'office les constatations de fait qui se révèlent manifestement inexactes, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.1.2 p. 252), ou établies en violation du droit (art. 105 al. 2 LTF). La partie recourante est autorisée à attaquer les constatations de fait ainsi viciées si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
2. 2.1 Selon l'art. 75 al. 1 LTF, le recours en matière civile est recevable contre les décisions prises par les autorités cantonales de dernière instance. Aussi le présent recours est-il d'emblée irrecevable dans la mesure où, pour l'essentiel, il s'en prend au jugement du Tribunal des baux et non pas à l'arrêt rendu par la Cour d'appel civile du Tribunal cantonal vaudois. Tombent sous le coup de cette cause d'irrecevabilité les moyens, d'ailleurs guère compréhensibles, soulevés sous ch. IV., (3) à (8) du mémoire de recours (p. 5 à 9).
Au demeurant, les explications fournies par la cour cantonale, jurisprudence fédérale à l'appui, quant à la nature juridique de l'action fondée sur l'art. 85a al.1 LP et aux conditions d'application de cette disposition (arrêt attaqué, consid. 3), de même que sur l'absence d'effet matériel de la décision prise par la Cour des poursuites et faillites dans le cadre de la procédure de mainlevée (arrêt attaqué, consid. 4) ou encore sur le pouvoir d'examen du Tribunal des baux (arrêt attaqué, consid. 5) ne prêtent pas le flanc à la critique, de sorte que la Cour de céans peut se contenter d'y renvoyer, conformément à l'art. 109 al. 3 LTF.
2.2 Sous ch. IV., (1) et (2) de leur mémoire de recours (p. 5), les recourants soutiennent que la suspension de la poursuite par voie de mesures provisionnelles a été faite à tort. Toutefois, ils ne s'en prennent pas à la motivation subsidiaire et suffisante dans laquelle la cour cantonale a retenu, d'une part, que le vice invoqué ne serait pas susceptible d'influencer son arrêt et, d'autre part, que la question soulevée a déjà été tranchée par un jugement du Tribunal des baux confirmé par la Chambre des recours (arrêt attaqué, consid. 8, p. 16). Sur ce point aussi, le recours est, dès lors, irrecevable (cf. ATF 113 IV 119 consid. 6.3).
2.3 Les recourants relèvent par ailleurs, sous ch. IV., (9), let. (a) et (b) de leur mémoire (p. 9), un manque de cohérence entre le fait de leur avoir octroyé le bénéfice de l'assistance judiciaire, ce qui suppose que la cause ne paraisse pas dépourvue de toute chance de succès (art. 117 let. b CPC), et le fait d'avoir renoncé à inviter l'intimée à déposer une réponse, ce qui suppose que l'appel soit manifestement irrecevable ou mal fondé (art. 312 al. 1 CPC).
En soi, pareille remarque n'est pas dénuée de tout fondement. Cependant, les recourants ne peuvent rien en tirer en leur faveur, sauf à soutenir que l'assistance judiciaire leur aurait été octroyée à tort. Pour le surplus, ils ne peuvent pas se plaindre de ce que l'intimée n'a pas été invitée à déposer une réponse, d'autant moins que cela leur a évité de devoir verser des dépens à cette partie (cf. art. 122 al. 1 let. d CPC).
2.4 En dernier lieu, les recourants contestent que l'on puisse les obliger à rembourser l'assistance judiciaire par mensualités de 50 fr. chacune (mémoire de recours, ch. IV., (9), let. (c), p. 10). Toutefois, ils citent eux-mêmes la disposition prévoyant le principe d'un tel remboursement, i.e. l'art. 123 al. 1 CPC, et n'expliquent pas pourquoi la solution retenue par la Cour d'appel civile serait contraire au droit fédéral. Cet ultime grief est ainsi voué à l'échec à l'instar des précédents.
3. Il suit de là que le présent recours ne peut qu'être rejeté, si tant est qu'il soit recevable, selon la procédure prévue à l'art. 109 al. 2 let. a LTF. Partant, la requête d'effet suspensif présentée par ses auteurs devient sans objet.
Etant donné les circonstances, il y a lieu de renoncer à la perception de frais pour la procédure fédérale (art. 66 al. 1 LTF), ce qui prive également d'objet la demande d'assistance judiciaire déposée par les recourants.
L'intimée, qui agit seule, n'a pas été invitée à déposer une réponse au recours et s'est déterminée sur la requête d'effet suspensif par une simple lettre de quelques lignes. Aussi n'a-t-elle pas droit à l'octroi de dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Il n'est pas perçu de frais ni alloué de dépens.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 août 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Carruzzo