Faits:
A. X._ et Y._ (ci-après: les locataires) louent, depuis décembre 1984, un appartement de cinq pièces et demie au troisième étage d'un immeuble, propriété de la Société Anonyme Z._, en liquidation (ci-après: la bailleresse), sis aux n°s ..., à Genève. L'appartement se trouve dans la partie de l'immeuble située au n° ... de cette rue. Le loyer a été fixé en dernier lieu à 2'727 fr. par mois, charges en sus.
En 2007, la bailleresse a entrepris de lourds travaux de rénovation de cet immeuble, classé monument historique. Ces travaux ont débuté en juillet 2007 et ont duré jusqu'à fin janvier 2010. Ils ont causé d'importantes nuisances aux habitants de l'immeuble.
B. B.a Le 7 août 2008, les locataires ont ouvert action contre la bailleresse en vue d'obtenir une réduction de leur loyer de 40% au minimum du 1er juillet 2007 au 31 janvier 2010.
La bailleresse a conclu à ce qu'acte lui fût donné qu'elle consentait à réduire le loyer de 30% du 1er août 2008 au 31 janvier 2010.
A l'appui de leur requête, les locataires ont produit, entre autres pièces, trois décisions rendues par le Tribunal des baux et loyers du canton de Genève dans des affaires prétendument similaires, dont deux jugements du 22 mars 2010 relatifs à un duplex (cause ...; pce n° 10) et à un local commercial (cause ...; pce n° 11) sis au n° .... La bailleresse s'est opposée à la prise en compte de ces deux jugements, au motif qu'ils faisaient l'un et l'autre l'objet d'un appel.
Par jugement du 14 juin 2010, le Tribunal des baux et loyers a réduit le loyer des locataires de 40% du 1er juillet 2007 au 31 janvier 2010. Statuant à titre liminaire sur l'admissibilité des pièces déposées par les locataires, il a accepté la production du procès-verbal de transport sur place du 11 juin 2009 relatif aux deux causes précitées (pce n° 8), de même que le procès-verbal d'audition du 14 octobre 2009 de l'architecte chargé du projet de réfection de l'immeuble (pce n° 9), mais ne s'est pas prononcé sur la recevabilité des pièces nos 10 et 11 susmentionnées. Sur le fond, il s'est référé principalement aux déclarations de l'architecte pour retenir que les nuisances avaient particulièrement affecté les locataires. Tenant compte de l'ensemble des circonstances, de l'expérience de la vie et de la casuistique tirée de la jurisprudence cantonale en la matière, il a appliqué un taux de réduction moyen pour toute la durée du chantier et l'a fixé à 40%.
B.b La bailleresse a appelé de ce jugement, en réitérant la demande de donner acte qu'elle avait formulée devant la juridiction de première instance et en concluant, pour le surplus, au rejet de la requête en réduction du loyer.
Les locataires ont invité la cour cantonale à confirmer le jugement déféré.
Par arrêt du 18 mars 2011, la Chambre d'appel en matière de baux et loyers a annulé le jugement du 14 juin 2010 et réduit le loyer en cause de 30% du 1er août 2008 au 31 janvier 2010. Après avoir confirmé que la question de l'admissibilité de la production des procès-verbaux d'auditions de l'architecte avait déjà été liquidée en première instance, elle s'est penchée sur le fond du litige. Elle a tout d'abord rappelé l'état de la jurisprudence et de la doctrine relatives aux normes légales régissant les conséquences du caractère défectueux de la chose louée, et singulièrement la réduction du loyer. Considérant ensuite les circonstances du cas concret avec un plein pouvoir d'examen, elle a commencé par faire un exposé chronologique des travaux exécutés sur la partie de l'immeuble située au n° .... Puis elle s'est référée aux dires de l'architecte pour énumérer cinq types de nuisances à retenir et fixer la durée de celles-ci pour chacun d'eux. Cela fait, partant du loyer en vigueur de 2'727 fr., elle en a calculé la réduction en appliquant un taux spécifique à chaque nuisance retenue et en ayant égard à la durée de celle-ci, pour aboutir à un montant cumulé de 10'976 fr. 15 représentant la réduction de loyer totale à laquelle les locataires pouvaient prétendre. Cependant, afin de respecter le principe ne infra oblata, elle a réduit le loyer de 30% du 1er août 2008 au 31 janvier 2010, conformément à la conclusion de la bailleresse, qui équivalait à une réduction cumulée de 14'725 fr. 80.
C. Agissant par la voie du recours en matière civile, les locataires demandent au Tribunal fédéral d'annuler l'arrêt de la Chambre d'appel et de confirmer le jugement de première instance.
Dans sa réponse, l'intimée conclut au rejet du recours, si tant est qu'il soit recevable.
La cour cantonale se réfère, quant à elle, aux motifs énoncés dans son arrêt.

Considérant en droit:
1. 1.1 Interjeté par les deux locataires ayant succombé devant la Chambre d'appel (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire dont la valeur litigieuse atteint le seuil fixé à l'<ref-law>, le présent recours en matière civile, qui a été déposé dans le délai (<ref-law> en liaison avec l'<ref-law>) et la forme (<ref-law>) prévus par la loi, est recevable sous ces différents angles.
1.2 Le recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 1.4 p. 674; <ref-ruling> consid. 1.2 p. 382). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation figurant à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 105). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>; <ref-ruling> consid. 1.4 p. 400 s.).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées. A ce défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans l'acte attaqué (<ref-ruling> consid. 1.2 p. 187 et les arrêts cités). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104 s. et les arrêts cités). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. Les recourants ne se plaignent pas de la manière dont l'autorité précédente a appliqué les dispositions spécifiques de la législation fédérale touchant les défauts de la chose louée, en particulier l'<ref-law> qui fixe les conditions d'une réduction du loyer de ce chef. Ils ne démontrent nullement en quoi cette autorité aurait méconnu les principes jurisprudentiels régissant la question litigieuse. Dès lors, il n'y a pas lieu de traiter cette question.
3.1 Le seul reproche que les recourants adressent à la cour cantonale est d'avoir violé le principe de l'égalité de traitement, consacré par l'art. 8 al. 1 Cst., en ne leur accordant qu'une réduction de loyer sensiblement inférieure à celle qu'elle a consentie à deux autres locataires du même immeuble dans les causes ... et ..., "pourtant exactement similaires", qui ont été jugées par elle, les 17 janvier et 14 février 2011, dans deux arrêts en force annexés au mémoire de recours (pces nos 2 et 3).
3.2 Le grief examiné tombe à faux pour plusieurs raisons.
3.2.1 L'application - sinon immédiate, du moins indirecte - des règles constitutionnelles aux relations entre les particuliers n'est certes pas exclue, s'agissant notamment de l'interprétation des clauses générales et des notions juridiques indéterminées du droit privé (<ref-ruling> consid. 4b avec de nombreuses références). Cependant, la reconnais- sance de cet effet "horizontal" des droits fondamentaux (Dritt- und Horizontalwirkung) n'empêche pas que les rapports entre les particuliers relèvent directement des seules lois civiles et pénales. C'est donc par elles que l'individu est protégé contre les atteintes que d'autres sujets de droit privé pourraient porter à ses droits constitutionnels (<ref-ruling> consid. 5; <ref-ruling> consid. 3a et les références; arrêt 4P.187/1999 du 2 septembre 1999 consid. 2).
Ainsi, les recourants, qui sont opposés, dans un procès civil, à une personne morale de droit privé, ne sauraient alléguer que la décision attaquée viole directement la garantie constitutionnelle de l'égalité de traitement (cf. arrêt 5A_26/2009 du 15 septembre 2009 consid. 5.5 et les arrêts cités). Ils peuvent tout au plus se plaindre de ce que les règles juridiques applicables pour résoudre le problème litigieux ont été méconnues par l'autorité de jugement. Or, ils ne le font pas (cf. consid. 2 ci-dessus). Il paraît évident, pourtant, que l'inégalité de traitement qu'ils dénoncent peut difficilement trouver sa source ailleurs que dans une application incorrecte de l'<ref-law>, à supposer que les deux précédents invoqués par eux aient été rendus en conformité avec cette disposition. Au demeurant, si cette supposition ne correspondait pas à la réalité, les recourants ne pourraient pas se prévaloir de ces deux précédents pour conclure à la réforme d'un arrêt par hypothèse respectueux du droit fédéral (absence de droit à l'égalité dans l'illégalité).
3.2.2 Force est ensuite de constater que les deux arrêts censés étayer l'argumentation des recourants ne figurent pas dans le dossier cantonal. Produits pour la première fois devant le Tribunal fédéral, ils constituent des preuves nouvelles, irrecevables comme telles en vertu de l'<ref-law>.
Il est vrai que, par exception à la règle générale, le Tribunal fédéral admet la production d'expertises juridiques ou de précédents visant uniquement à renforcer et à développer le point de vue du recourant, pour autant que ces pièces soient déposées dans le délai de recours (arrêt 4A_190/2007 du 10 octobre 2007 consid. 5.1 et les références). En l'espèce, toutefois, les deux précédents invoqués sont d'une autre nature, puisque les recourants y renvoient afin de démontrer que la présente affaire est quasi identique aux deux causes déjà jugées. Il s'agit bel et bien de moyens de preuve.
Les recourants reprochent à la cour cantonale de n'avoir même pas signalé l'existence de ces deux décisions antérieures dans l'arrêt attaqué. Ce faisant, ils ne formulent pas un grief recevable, étant précisé que ce grief ne saurait être rattaché au seul moyen invoqué par eux, à savoir la violation de l'art. 8 al. 1 Cst. Qui plus est, ils ne soutiennent pas que leur mandataire, à qui les deux arrêts en question ont été notifiés en janvier et février 2011 en sa qualité d'avocat des deux locataires parties à chacune de ces procédures, aurait été empêché, pour des motifs de fait ou de droit, de les produire en temps utile dans la procédure les concernant. Enfin, contrairement à ce que les recourants semblent vouloir soutenir, le fait que les parties aient accepté qu'il soit tenu compte, pour statuer sur la demande de réduction du loyer, de certains moyens de preuve, tel le témoignage de l'architecte, recueillis dans les procédures closes par les deux arrêts portés à la connaissance du Tribunal fédéral n'implique pas encore que la Chambre d'appel aurait dû prendre d'office en considération ces deux précédents pour se prononcer sur cette demande.
3.2.3 En tout état de cause, même si la production des deux pièces litigieuses avait été jugée admissible, force serait alors de constater que la motivation du recours, en tant qu'elle prend appui sur ces éléments de preuve, ne satisfait pas aux exigences découlant de l'<ref-law>. Les recourants se contentent, en effet, de renvoyer le Tribunal fédéral à la lecture des arrêts rendus les 17 janvier et 14 février 2011, dont chacun couvre plus de 20 pages, sans lui fournir de plus amples précisions quant aux circonstances de fait les caractérisant, de manière à lui permettre de procéder à la comparaison indispensable entre la présente affaire et celles ayant abouti à ces deux précédents. En d'autres termes, ils argumentent comme s'ils agissaient devant une cour d'appel, méconnaissant ainsi la nature spécifique du recours en matière civile au Tribunal fédéral.
4. Il suit de là que le recours interjeté par les locataires est irrecevable; ses auteurs seront donc condamnés solidairement à payer les frais de la procédure fédérale (art. 66 al. 1 et 5 LTF) et à indemniser leur adverse partie (art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Les recourants sont condamnés solidairement à verser à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 8 juillet 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Carruzzo