Faits: A. A.a Par contrat du 5 juin 2003, Z._ a donné à bail à X._ et Y._, pour le 1er juillet 2003, une maison villageoise sise à ..., avec deux places de parc extérieures. Le loyer mensuel net a été fixé à 3'600 fr. La bailleresse n'a pas fait usage de la formule officielle relative à la notification du loyer lors de la conclusion d'un nouveau bail. Saisi par les locataires d'une action en contestation du loyer initial et en remboursement du trop-perçu, le Tribunal des baux du canton de Vaud l'a admise, par jugement du 4 septembre 2008. Il a fixé le loyer mensuel net dû par les locataires à 2'750 fr. dès le 1er juillet 2003 et condamné la bailleresse à verser à ceux-ci la somme de 53'550 fr., plus intérêts à 5% l'an dès le 30 juin 2008, au titre du trop-perçu sur les loyers du 1er juillet 2003 au 30 septembre 2008. La Chambre des recours du Tribunal cantonal vaudois a confirmé ce jugement par arrêt du 24 août 2009. Sur la base d'une transaction judiciaire du 11 décembre 2007, qui autorisait les locataires, dont le bail avait été résilié pour le 30 septembre 2007, à rester dans les lieux jusqu'au 30 septembre 2009, la bailleresse a requis l'évacuation forcée des occupants en date du 5 octobre 2009. Par ordonnance du 16 novembre 2009, le Juge de paix du district de Nyon a fait droit à cette requête. La maison et les deux places de parc ont été libérées le 17 décembre 2009. A.b Le 5 octobre 2009, X._ et Y._ ont fait notifier à Z._ un commandement de payer portant sur la somme et les intérêts précités, alloués par le jugement du Tribunal des baux du 4 septembre 2008 (poursuite n° xxx de l'Office des poursuites du district de Nyon). L'opposition formée par la poursuivie a été définitivement levée par décision du 24 novembre 2009 du juge compétent. Par arrêt du 15 avril 2010, la Cour des poursuites et faillites du Tribunal cantonal vaudois a partiellement admis le recours déposé par Z._ contre ladite décision qu'elle a réformée en ce sens que la mainlevée définitive était prononcée à concurrence de 53'550 fr., plus intérêts à 5% l'an dès le 30 juin 2008, sous déduction de 30'250 fr., valeur au 1er mai 2009. Les juges cantonaux ont notamment retenu que Z._ avait valablement opposé en compensation à la créance formant l'objet de la décision de mainlevée une créance de 30'250 fr. (11 x 2'750 fr.) correspondant aux loyers dus par les poursuivants pour la période de novembre 2008 à septembre 2009, loyers dont le paiement n'était pas établi ni même allégué. Ils ont, en revanche, constaté que le contrat de bail ne valait pas reconnaissance de dette pour une indemnité à titre d'occupation illicite, soit pour la période consécutive à la fin des rapports de bail, intervenue le 30 septembre 2009. Se prévalant du caractère exécutoire de l'arrêt cantonal du 15 avril 2010, X._ et Y._ ont requis la continuation de la poursuite n° xxx. Par avis du 7 juillet 2010, l'Office des poursuites du district de Nyon a informé Z._ qu'il procéderait à la saisie de ses biens le 5 août 2010. A.c Par requête déposée le 16 juillet 2010 devant la Commission de conciliation en matière de baux et loyers du district de Nyon, Z._, se fondant sur l'art. 85a LP, a introduit une action en constatation négative et en annulation de la susdite poursuite, dirigée contre X._ et Y._. Elle a simultanément requis la suspension provisoire de cette poursuite jusqu'à droit connu sur le sort de cette action. Rejetée dans un premier temps, cette requête a été admise par le Tribunal des baux en date du 4 octobre 2010. Entre-temps, soit le 17 septembre 2010, Z._ avait déposé, devant le Tribunal des baux, sa demande tendant à faire constater qu'elle ne doit pas le montant de 53'550 fr. avec intérêt au taux de 5 % l'an dès le 30 juin 2008 et à obtenir la radiation de la poursuite n° xxx. Dans leur mémoire du 3 janvier 2011, X._ et Y._ ont conclu à ce qu'il soit constaté que Z._ reste leur devoir la somme de 53'550 fr., avec intérêts à 5% l'an dès le 30 juin 2008, frais d'encaissement en sus, sous déduction de 30'250 fr., valeur au 1er mai 2009, et à ce que la poursuite litigieuse ne soit pas annulée. Par jugement du 12 janvier 2011, le Tribunal des baux a dit que Z._ n'est pas débitrice de X._ et Y._ de la somme de 53'550 fr. avec intérêt au taux de 5 % l'an dès le 30 juin 2008. En conséquence, il a annulé la poursuite y relative. Ledit jugement a été rendu sans frais ni dépens. B. Le 14 décembre 2011, X._ et Y._ ont interjeté appel contre le jugement du Tribunal des baux en reprenant les conclusions qu'ils avaient formulées en première instance. Ils ont, en outre, requis ultérieurement leur mise au bénéfice de l'assistance judiciaire. Z._ n'a pas été invitée à se déterminer sur cet appel. Par arrêt du 9 mars 2012, la Cour d'appel civile du Tribunal cantonal vaudois, statuant selon la procédure de l'art. 312 al. 1 CPC, a rejeté l'appel et confirmé le jugement attaqué. Admettant la requête d'assistance judiciaire partielle des appelants, tendant à la dispense de l'avance de frais, elle a laissé les frais judiciaires de deuxième instance, arrêtés à 1'130 fr., à la charge de l'Etat, tout en astreignant les appelants au paiement d'une franchise mensuelle de 50 fr. dès le 1er mai 2012. C. Le 11 avril 2012, X._ et Y._ (ci-après: les recourants) ont déposé un recours en matière civile au terme duquel ils invitent le Tribunal fédéral a faire droit, sur le fond, aux conclusions qu'ils avaient soumises sans succès aux juridictions précédentes et, s'agissant des frais, à ne pas les astreindre au paiement d'une franchise mensuelle. Dans leur lettre d'accompagnement, les recourants ont, en outre, requis l'octroi de l'effet suspensif. Puis, par lettre du 19 juillet 2012, ils ont demandé à être mis au bénéfice de l'assistance judiciaire. Z._ (ci-après: l'intimée) et la cour cantonale, qui a produit son dossier, n'ont pas été priées de déposer une réponse. La première a conclu au rejet de la requête d'effet suspensif dans une lettre du 13 août 2012, tandis que la seconde a indiqué, dans une lettre du 20 juillet 2012, qu'elle s'en remettait à justice sur ce point.