Faits:
A. Depuis le 15 juillet 2001, Y._ est locataire d'un appartement de 3 pièces au deuxième étage d'un immeuble sis à Genève. Son loyer est de 400 fr. par mois. La première échéance du bail a été fixée au 14 juillet 2004; depuis lors, il est renouvelable d'année en année sauf résiliation signifiée trois mois avant l'échéance.
Le 20 juin 2008, l'immeuble a été acquis par les futurs époux H.X._ et F.X._. Par avis officiel du 20 juin 2008, ils ont résilié le bail de Y._ pour le 31 octobre 2008. Simultanément, ils ont résilié les baux de tous les autres occupants de l'immeuble. Interrogés sur les motifs du congé, les nouveaux propriétaires ont indiqué qu'ils souhaitaient installer la soeur de H.X._ dans l'appartement de Y._; ils ont aussi invoqué l'insuffisance du rendement de l'immeuble.
B. Y._ a contesté la résiliation du bail devant la Commission de conciliation en matière de baux et loyers du canton de Genève. Cette autorité a annulé le congé, considérant que le calcul du rendement n'avait pas été fait pour l'appartement concerné, que les deux motifs invoqués étaient contradictoires et que le congé pouvait apparaître comme un prétexte.
Les nouveaux bailleurs ont recouru contre cette décision devant le Tribunal des baux et loyers, concluant à ce que la validité du congé pour le 31 octobre 2008 soit constatée, subsidiairement à ce que les effets du congé soient reportés au 14 juillet 2009. La locataire a conclu à l'annulation du congé, subsidiairement à l'octroi d'une prolongation de quatre ans et au paiement de 12'878 fr. 50 à titre d'indemnité pour travaux effectués. Par jugement du 18 janvier 2010, le Tribunal a déclaré le congé valable, accordé à la locataire une unique prolongation de bail au 30 juin 2010 et rejeté la conclusion en paiement d'une indemnité.
La locataire a porté cette décision devant la Chambre d'appel en matière de baux et loyers, concluant principalement à l'annulation du congé, subsidiairement à une prolongation de bail de quatre ans et au renvoi de la cause au Tribunal de baux et loyers pour qu'il détermine la valeur des travaux réalisés dans l'appartement, plus subsidiairement au paiement d'une indemnité de 20'000 fr. pour lesdits travaux. Les bailleurs ont conclu au rejet de l'appel.
Par arrêt du 14 février 2011, la Chambre d'appel a annulé le jugement précité et déclaré inefficace le congé du 20 juin 2008 signifié à Y._.
C. H.X._et F.X._ (ci-après: les recourants) interjettent un recours en matière civile et un recours constitutionnel subsidiaire auprès du Tribunal fédéral. Dans le premier, ils concluent principalement à ce que le congé donné le 20 juin 2008 soit déclaré valable avec effet au 31 octobre 2008, subsidiairement à ce que les effets du congé soient reportés au 14 juillet 2009, plus subsidiairement à ce que la cause soit renvoyée à l'autorité précédente pour nouvelle décision. Dans le second, ils concluent au renvoi de la cause à l'autorité précédente.
Y._ (ci-après: l'intimée) s'en remet à justice sur la recevabilité du recours en matière civile et conclut à son rejet sur le fond. Elle conclut en outre à l'irrecevabilité du recours constitutionnel, subsidiairement à son rejet.
L'autorité précédente se réfère à son arrêt.

Considérant en droit:
1. 1.1 Dans les causes de droit du bail à loyer, le recours en matière civile n'est recevable que si la valeur litigieuse s'élève au moins à 15'000 fr. (<ref-law>). Lorsque le recours est dirigé comme en l'espèce contre une décision finale, la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité cantonale de dernière instance (cf. <ref-law>).
In casu, la Chambre d'appel était saisie d'une conclusion principale tendant à faire annuler la résiliation d'un bail de durée indéterminée (cf. <ref-law> et <ref-ruling> consid. 2b). En pareil cas, la valeur litigieuse équivaut au loyer de la période minimale pendant laquelle le contrat subsiste si la résiliation n'est pas valable, période qui s'étend jusqu'à la date pour laquelle un nouveau congé peut être donné (cf. <ref-ruling> consid. 1.1; <ref-ruling> consid. 1 p. 386; cf. aussi <ref-ruling> consid. 1 p. 149). Si la contestation émane du locataire, la durée déterminante pour le calcul de la valeur litigieuse ne saurait être inférieure à la période de trois ans pendant laquelle l'art. 271a al. 1 let. e CO consacre l'annulabilité d'une résiliation signifiée après une procédure judiciaire (<ref-ruling> consid. 1.1 p. 197 et les arrêts cités; cf., sous l'AMSL, ATF <ref-ruling> consid. 1 p. 386).
Dans le cas présent, le loyer mensuel est de 400 fr., soit 4'800 fr. par année. Il ne ressort pas de l'arrêt attaqué que des charges soient dues en sus de ce montant (à ce sujet, cf. PETER HIGI, Zürcher Kommentar, 4e éd. 1996, n° 27 ad <ref-law>). Si l'on se réfère au seul délai de protection de trois ans, la valeur litigieuse de 15'000 fr. n'est pas atteinte (3 x 4'800 fr. = 14'400 fr.). Il faut toutefois avoir égard au fait que le délai triennal est une durée minimale et que la période déterminante pour le calcul de la valeur litigieuse s'étend jusqu'à la prochaine échéance pour laquelle un nouveau congé peut être donné. Quant au dies a quo, qui court en principe dès la fin de la procédure judiciaire (cf. art. 271a al. 1 let. e CO), il ne saurait être fixé en supputant la date du futur arrêt fédéral. En effet, la valeur litigieuse doit être déterminable lors du dépôt du recours et la recevabilité de celui-ci ne peut logiquement dépendre d'un élément postérieur à ce moment. Il convient donc de se référer à la date de la décision cantonale, dès lors que la situation existant devant l'autorité précédente est celle qui prévaut en général pour la détermination de la valeur litigieuse (cf. <ref-law>; arrêt 4A_187/2011 du 9 juin 2011 consid. 1.1).
En l'espèce, la période de trois ans serait échue le 14 février 2014; à ce moment-là, le terme de résiliation contractuel le plus proche serait le 14 juillet 2014 (cf. HIGI, op. cit., n° 30 ad <ref-law>). La valeur litigieuse porte ainsi sur trois ans et cinq mois de loyer, soit 16'400 fr. (3 x 4'800 fr. + 5 x 400 fr.); ce montant excède le seuil fixé par l'<ref-law>.
1.2 Interjeté pour le surplus contre une décision de dernière instance (<ref-law>) par des consorts ayant pris part à la procédure et succombé devant l'autorité précédente (<ref-law>), le recours répond aux exigences légales de délai (<ref-law>) et de forme (<ref-law>). Partant, le recours en matière civile est recevable sur le principe.
1.3 La voie du recours en matière civile étant ouverte, il s'ensuit l'irrecevabilité du recours constitutionnel, qui ne revêt qu'un caractère subsidiaire (<ref-law>). Toutefois, l'intitulé erroné d'un recours ne nuit pas à son auteur. Ainsi, les griefs soulevés dans le recours irrecevable pourront être examinés dans le cadre du recours ordinaire en matière civile, pour autant qu'ils satisfassent aux conditions de ce recours (<ref-ruling> consid. 1.2 p. 382; arrêt 4A_656/2010 du 14 février 2011 consid. 1.1).
2. Le recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>), notion qui inclut le droit constitutionnel (<ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (<ref-law>). N'étant pas lié par l'argumentation des parties, il s'en tient cependant, d'ordinaire, aux questions de droit que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 1.4). Par ailleurs, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>); l'acte de recours doit alors contenir un exposé succinct des droits ou principes constitutionnels violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.2).
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'écarter des constatations de l'autorité cantonale que si elles ont été établies de façon manifestement inexacte - notion qui équivaut à celle d'arbitraire (<ref-ruling> consid. 4.1.2) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). En outre, la correction du vice doit être susceptible d'influer sur le sort de la cause (<ref-law>). S'agissant du grief d'établissement arbitraire des faits ou d'application anticonstitutionnelle du droit de procédure cantonal, les exigences de motivation sont celles, plus strictes, de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 255).
L'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1).
3. Les recourants font valoir que l'état de fait de la décision entreprise est lacunaire et manifestement inexact à divers égards. Dans un premier grief, ils reprochent en substance à la Chambre d'appel d'avoir versé dans l'arbitraire en refusant de retenir l'urgence du besoin de l'appartement pour la s?ur du recourant alors que ce fait avait été dûment allégué et prouvé.
3.1 Le nouveau propriétaire de locaux d'habitation ou de locaux commerciaux acquis après la conclusion du contrat de bail peut résilier celui-ci en observant le délai de congé légal pour le prochain terme légal s'il fait valoir un besoin urgent pour lui-même ou ses proches parents ou alliés (<ref-law>).
Selon la jurisprudence du Tribunal fédéral, le besoin urgent ne présuppose pas une situation de contrainte, voire un état de nécessité; il suffit que, pour des motifs économiques ou pour d'autres raisons, on ne puisse exiger du bailleur qu'il renonce à l'usage de l'objet loué. Il ressort des travaux parlementaires que le besoin légitime du propriétaire doit en principe primer l'intérêt du locataire. Ce besoin doit être sérieux, concret et actuel; un possible besoin futur ne suffit pas. Quant à l'urgence, elle doit être examinée non seulement dans le temps, mais encore en fonction de son degré; il faut qu'existent des motifs qui revêtent objectivement une certaine importance. Le juge en décidera après avoir apprécié toutes les circonstances du cas particulier (<ref-ruling> consid. 3c et d; plus récent, <ref-ruling> consid. 3.4.3). S'agissant d'une décision faisant appel au pouvoir d'appréciation du juge, le Tribunal fédéral ne substitue qu'avec retenue sa propre appréciation à celle de la juridiction cantonale. Il n'intervient que si la décision s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, si elle repose sur des faits ne jouant aucun rôle, ou encore si elle ne tient pas compte d'éléments qui auraient absolument dû être pris en considération (<ref-ruling> consid. 4).
C'est une question de droit que de savoir s'il existe un "besoin urgent" au sens de l'<ref-law> (<ref-ruling> consid. 3a p. 108; cf. HIGI, op. cit., n° 204 ad <ref-law>). A cet égard, il ne faut pas confondre le pouvoir d'appréciation dont le juge jouit, à certaines conditions, à l'égard des faits établis, avec l'appréciation des preuves à laquelle le juge doit se livrer afin de constater les faits pertinents; la première démarche relève du droit, la seconde, du fait (arrêt 4C.17/2006 du 27 mars 2006 consid. 3.3 et les arrêts cités).
3.2 Les recourants taxent d'arbitraire un passage de l'arrêt constatant à leur égard qu'"ils n'ont en revanche pas soutenu que ce besoin était urgent" (arrêt, p. 3 let. g).
La constatation litigieuse se rapporte à la première écriture que les recourants ont déposée devant le Tribunal des baux. Toutefois, ce n'est pas un défaut dans l'allégation des faits qui a conduit la cour cantonale à nier l'existence d'un besoin urgent au sens de l'<ref-law>. Tout au plus a-t-elle reproché aux recourants d'avoir allégué l'urgence du besoin très tardivement dans leur procédure et y a-t-elle vu un indice supplémentaire de l'absence d'urgence.
Au regard de la jurisprudence relative à la notion de "besoin urgent", il ne paraît pas impératif d'alléguer expressément le caractère urgent du besoin de locaux, qui pourrait en soi déjà implicitement ressortir d'autres circonstances de fait alléguées. Toutefois, la question du caractère tardif de l'allégation des recourants peut rester indécise dans la mesure où cet élément est manifestement sans incidence sur l'appréciation portée par la cour cantonale, qui ne l'a invoqué qu'à titre d'indice supplémentaire, après avoir déjà constaté l'inexistence d'un besoin urgent (cf. infra, consid. 7.1).
3.3 Pour le surplus, les recourants reprochent essentiellement à l'autorité d'appel d'avoir "arbitrairement" refusé de constater l'existence d'un besoin urgent, concret, réel et actuel du logement pour A._, s?ur du recourant.
3.3.1 La cour cantonale a considéré que les seules affirmations des recourants et de A._ ne suffisaient pas à convaincre de la réalité du besoin invoqué, en l'absence de tout élément concret confirmant la volonté de la prénommée de s'établir à Genève; de même, l'urgence du besoin ne pouvait être retenue alors que l'intéressée n'avait aucune attache à cet endroit et aucune perspective professionnelle à court terme.
3.3.2 S'agissant d'un moyen dirigé contre l'état de fait, il incombait aux recourants d'exposer de manière détaillée (<ref-law>) en quoi l'autorité précédente aurait établi arbitrairement les circonstances de fait propres à retenir ou exclure, en droit, un besoin urgent au sens de l'<ref-law>. Or, sous réserve d'un point discuté ci-après (infra, consid. 4), les recourants n'expliquent pas pourquoi il serait arbitraire de ne pas se satisfaire des seules déclarations des recourants et de leur parente, respectivement de constater l'absence d'attaches et de perspective professionnelle à court terme dans cette ville, et plus généralement l'absence de tout élément concret corroborant la volonté de l'intéressée de s'établir à Genève. Ils se contentent de citer les allégués et déterminations faisant état d'un besoin urgent et certaines offres de preuve, soutenant de façon appellatoire que la cour cantonale aurait arbitrairement refusé de tirer les conclusions qui s'imposaient au vu des déclarations de la s?ur du recourant. Un tel procédé ne satisfait pas aux exigences de l'<ref-law>. Le grief se révèle irrecevable.
3.4 Les recourants soutiennent encore que l'autorité précédente aurait renversé le fardeau de la preuve en exigeant d'eux qu'ils prouvent leur bonne foi alors qu'il revenait bien plutôt à l'intimée d'établir leur hypothétique mauvaise foi, ce qu'elle n'a pas fait.
La preuve du besoin urgent au sens de l'<ref-law> incombe au bailleur (arrêt 4A_23/2009 du 24 mars 2009 consid. 3.1; cf. aussi HIGI, op. cit., n° 204 ad <ref-law>). On ne saurait dès lors considérer, comme semblent le faire les recourants, que le bailleur ou son parent peut se contenter d'expliquer pour quel motif il a besoin des locaux, à charge pour le locataire de démontrer que ces affirmations seraient erronées. Le grief tombe à faux.
4. 4.1 Les recourants tiennent pour insoutenable la constatation selon laquelle A._ "n'a pas effectué la moindre recherche d'emploi" à Genève. A leur avis, la cour cantonale n'avait aucun motif sérieux d'écarter le témoignage de la prénommée, s?ur du recourant, alors qu'elle avait été exhortée à dire la vérité devant le Tribunal des baux et que ses propos confirmaient sur d'autres points l'attestation écrite qu'elle avait rédigée le 4 mars 2009.
4.2 L'arrêt attaqué cite quasi in extenso les déclarations faites par la s?ur du recourant le 16 novembre 2009 devant le Tribunal des baux, en précisant qu'elle était entendue à titre de renseignement - et donc sans prestation de serment (cf. art. 226 de l'ancienne loi de procédure civile du 10 avril 1987 [aLPC]).
Il n'est pas insoutenable de ne pas se satisfaire des seules déclarations - orales ou écrites - d'une parente du bailleur pour laquelle est invoqué le besoin urgent des locaux. Qui plus est, l'intéressée a tout au plus fait état de recherches d'emploi "limitées à des démarches essentiellement orales" au motif que la conjoncture était mauvaise et que la rédaction d'articles scientifiques lui avait pris beaucoup de temps. Elle a ajouté qu'en automne 2008 à Cambridge (lieu de ses études), elle avait approché diverses entreprises susceptibles de lui offrir un emploi dans le monde francophone. En bref, eu égard à la teneur très vague de ces propos et à la personne dont ils émanaient, il n'était pas arbitraire de conclure que A._ n'avait pas recherché d'emploi à Genève.
Au demeurant, l'autorité précédente a insisté sur l'absence d'urgence du besoin en relevant que la s?ur du recourant n'avait aucune perspective professionnelle à court terme, constatation qui ne fait l'objet d'aucun grief.
5. Les recourants reprochent en substance à la cour cantonale d'avoir retenu en violation de l'<ref-law> un allégué non prouvé selon lequel un appartement de taille identique à celui de l'intimée était en passe de se libérer sur le même palier, et ce nonobstant le fait qu'ils avaient dûment contesté l'existence d'un autre logement disponible dans l'immeuble, a fortiori au moment du congé.
5.1 Le juge enfreint l'<ref-law> s'il tient pour exactes les allégations non prouvées d'une partie, nonobstant leur contestation par la partie adverse (<ref-ruling> consid. 2a). Selon la jurisprudence antérieure à l'unification de la procédure civile, les exigences concernant la motivation de la contestation (Substantiierung) sont régies par le droit de procédure cantonal sous réserve des limites posées par l'<ref-law>; en particulier, le fardeau de la contestation ne doit pas entraîner le renversement du fardeau de la preuve (<ref-ruling> consid. 2).
Cette jurisprudence s'applique au cas d'espèce encore régi par l'ancien droit de procédure cantonal.
Selon l'art. 126 aLPC (applicable par renvoi des art. 438 al. 1 et art. 445 aLPC), la partie qui se prévaut de faits dans ses écritures est tenue de les articuler avec précision et celle à laquelle ils sont opposés doit reconnaître ou dénier chacun des faits catégoriquement (al. 2); le silence et toute réponse évasive peuvent être pris pour un aveu desdits faits (al. 3). Chaque partie doit ainsi contester les faits allégués par la partie adverse de manière suffisamment précise pour permettre à cette dernière de savoir quels allégués sont contestés en particulier et, partant, d'administrer la preuve dont le fardeau lui incombe (arrêt 5A_567/2008 du 31 mars 2009 consid. 4.3).
5.2 En l'occurrence, l'intimée a fait les allégations suivantes dans son appel:
"15. (...) un appartement au 2ème étage s'est libéré ou se libérera tout prochainement, puisque ceux-ci [réd.: les recourants] ont signé une convention d'accord avec la locataire, Madame B._.
16. C'est un appartement de 3 pièces de 30 m2 qui convient parfaitement aux besoins de Madame A._, pour un loyer équivalent. La soeur de l'intimé pourrait y emménager dès le départ de sa locataire, soit certainement avant la fin de son contrat."
Dans leur réponse, les recourants se sont déterminés comme il suit:
"Ad 15 Contesté en tant que l'appartement occupé au 2ème étage de l'immeuble serait libre. Mme B._ réside actuellement dans cet appartement.
Ad 16 Ignoré. Cet allégué consiste en de pures supputations formulées par l'appelante, laquelle méconnaît en outre qu'il est de jurisprudence constante que l'existence d'une solution alternative à disposition du bailleur ne suffit pas à exclure un besoin urgent (...)."
De ces déterminations, la Chambre d'appel a retenu que les recourants se contentaient d'affirmer laconiquement que ledit appartement n'était pas libre pour l'instant et ne se prononçaient pas sur l'existence (ou non) de la convention qu'ils auraient signée avec la locataire. Elle en a déduit que les recourants ne contestaient pas l'existence de cette convention et que l'allégué de l'intimée pouvait être retenu. Dans ses considérants en droit, elle a fait état de la prochaine libération d'un appartement similaire à celui de l'intimée, qui serait susceptible de convenir à la soeur du recourant.
5.3 Il ressort de ce qui précède que les recourants se sont déterminés sur les allégations de l'intimée et qu'ils les ont partiellement contestées. Les recourants jugent arbitraire le résumé que la Chambre d'appel fait de leurs déterminations. Il n'apparaît toutefois pas que celle-ci ait méconnu la teneur exacte de leur prise de position. Par ailleurs, elle n'a pas ignoré le fait que ce logement n'était pas disponible au moment du congé, pour avoir expressément souligné qu'il s'agissait d'un fait postérieur à la résiliation du bail. Cela étant, la question de savoir dans quelle mesure les faits allégués étaient ou non contestés relève du droit cantonal de procédure. Or, les recourants n'ont pas soulevé le grief d'application arbitraire du droit cantonal, ni soutenu que ce droit irait à l'encontre de l'<ref-law>. Dans la mesure où les juges cantonaux concluaient que les faits litigieux n'étaient pas contestés - élément qui ne peut être revu faute de grief topique -, ils pouvaient les retenir même en l'absence de preuve sans pour autant contrevenir à l'<ref-law>.
6. Les recourants font encore grief à l'autorité précédente de ne pas avoir retenu le fait dûment allégué et prouvé selon lequel l'intimée était domiciliée dans une villa de 188 m2 et qu'elle n'avait dès lors aucun besoin de l'appartement loué dans leur immeuble. Ils déplorent en outre l'absence de toute mention relative à l'insuffisance de rendement de l'immeuble et plus précisément de l'appartement de l'intimée, alors qu'ils auraient allégué et établi un rendement négatif de - 6,96 %.
A ce stade, il convient de réserver l'examen de ces griefs dès lors qu'ils pourraient être privés d'objet selon l'issue donnée aux moyens de droit.
7. Les recourants se plaignent d'une violation de l'<ref-law>. Ils reprochent à l'autorité précédente d'avoir nié l'existence d'un besoin urgent en se fondant sur un élément non pertinent, à savoir la prochaine libération, dans le même immeuble, d'un appartement similaire à celui de l'intimée. De l'avis des recourants, la cour cantonale aurait dû apprécier la situation en se plaçant au moment de la résiliation, sans tenir compte d'éléments postérieurs; de surcroît, l'existence d'une autre possibilité de logement ne suffirait pas à exclure un besoin urgent. La Chambre d'appel aurait en outre indûment fait grief à la s?ur du recourant de ne pas avoir recherché un autre logement et un emploi à Genève alors qu'elle aurait dû se contenter de vérifier si cette personne avait bien la volonté de prendre à bail l'appartement de l'intimée.
7.1 La cour cantonale a nié l'existence d'un besoin urgent des locaux en invoquant les motifs exposés ci-dessous.
La soeur du recourant, à qui l'appartement était destiné, n'avait pas effectué la moindre recherche d'emploi, ni prouvé la recherche d'un logement dans le canton ou ses environs, soutenant qu'il fallait au préalable être établie à Genève avant d'entamer ces démarches. Un tel argument n'était guère convaincant dès lors que l'exemple d'un poste obtenu à Zurich démontrait qu'elle choisissait ses lieux de vie en fonction de l'emploi trouvé, et non l'inverse. Ses seules affirmations et celles des recourants ne suffisaient pas à convaincre de la réalité du besoin invoqué, en l'absence de tout élément concret confirmant la volonté de l'intéressée de s'établir à Genève, alors même que plusieurs indices laissaient plutôt entrevoir un motif économique. A cet égard, le fait que tous les baux de l'immeuble avaient été résiliés, que les recourants passaient sous silence la libération prochaine d'un appartement similaire à celui de l'intimée qui serait susceptible de convenir à la soeur du recourant et, enfin, le caractère très modeste du loyer de l'intimée tendaient plutôt à démontrer que le besoin invoqué était un pur prétexte.
A supposer même que le besoin invoqué soit admis, l'urgence devait être déniée, dès lors que la soeur du recourant n'avait aucune attache à Genève ni aucune perspective professionnelle à court terme. Admettre dans un tel cas la réalisation de la condition de l'urgence reviendrait à confondre celle-ci avec celle du besoin. Le fait que les recourants n'avaient soulevé l'urgence du besoin que très tardivement dans la procédure tendait du reste également à démontrer que cette condition n'était pas réalisée.
7.2 Contrairement à ce que plaident les recourants, l'autorité précédente était fondée à tenir compte de la prochaine libération d'un appartement dans l'immeuble; ce fait postérieur au congé est en effet de nature à éclairer la volonté des recourants au moment où ils ont résilié le bail (arrêt 4A_241/2010 du 10 août 2010 consid. 2.1.6). Il est vrai que la seule possibilité d'une solution alternative, sans égard à ses désagréments et ses coûts, ne suffit pas à exclure de facto le besoin urgent (arrêt 4A_85/2008 du 12 juin 2008 consid. 3.3 cité par les recourants). Toutefois, il ne ressort pas de l'état de fait que la location d'un autre appartement dans l'immeuble entraînerait des désagréments ou des surcoûts non négligeables pour la parente du recourant. Tout au plus ceux-ci font-ils état d'une surface moindre, soit 30 m2 contre 40 m2 pour l'appartement convoité; il ressort toutefois de l'attestation écrite de A._ (pièce 10), dont les recourants font grand cas, qu'une surface d'environ 30 m2 correspond exactement à ses besoins. Ceci dit, la cour cantonale n'a pas accordé d'importance excessive à l'apparition d'une solution alternative postérieure au congé; tout au plus y a-t-elle vu l'un des indices d'un congé prétexte.
L'élément décisif est en effet que l'urgence du besoin n'est en tout cas pas établie. A l'appui de ce constat, la cour cantonale a invoqué l'absence totale d'attaches avec Genève et l'exclusion de toute perspective professionnelle à court terme; plus généralement, elle a relevé le défaut d'éléments concrets confirmant la volonté déclarée de s'établir à Genève. Ces éléments sont pertinents et il n'apparaît pas que la Chambre d'appel aurait négligé d'autres circonstances pertinentes. Que la s?ur du recourant ait la volonté réelle de s'établir à Genève - ce que l'arrêt attaqué n'exclut pas - ne suffit pas encore à retenir un besoin urgent au sens de la loi, pas plus qu'un besoin futur. Ainsi, sur la base des circonstances de fait qui lient la Cour de céans, on ne saurait reprocher à la cour cantonale d'avoir abusé de son pouvoir d'appréciation et enfreint le droit fédéral en niant l'existence d'un besoin urgent au sens de l'<ref-law>.
Vu ce qui précède, la cour cantonale pouvait s'épargner d'examiner quel était l'intérêt du locataire à conserver la chose louée. Le grief relatif à une prétendue lacune de l'état de fait à cet égard (supra, consid. 6) est ainsi privé d'objet.
8. 8.1 Les recourants reprochent encore à l'autorité précédente d'avoir enfreint le droit fédéral en méconnaissant le fait qu'ils avaient invoqué deux motifs de résiliation autonomes, soit d'une part un motif extraordinaire fondé sur le besoin urgent du propriétaire et d'autre part un motif ordinaire fondé sur l'insuffisance du rendement. En s'abstenant d'examiner si ce second motif était réalisé, la Chambre d'appel aurait commis un déni de justice (art. 29 Cst.) et porté atteinte à la garantie constitutionnelle de la propriété (art. 26 Cst.). Si la cour cantonale estimait que le terme du congé ordinaire signifié à l'intimée était inexact, elle aurait dû faire application de l'<ref-law> et reporter les effets du congé au 14 juillet 2009. Du reste, la constatation d'un besoin propre mais non urgent aurait aussi dû conduire à reporter le congé au prochain terme pertinent.
8.2 Celui qui résilie un contrat exerce un droit formateur; ce faisant, il modifie unilatéralement, par sa seule manifestation de volonté, la situation juridique de l'autre partie. En raison des effets qu'il entraîne pour le cocontractant, l'exercice du droit formateur doit reposer sur une manifestation de volonté claire et dépourvue d'incertitudes (<ref-ruling> consid. 3.3 p. 444). Le congé doit exprimer clairement l'intention de mettre fin au bail à une date déterminée ou facilement déterminable; il doit être univoque, sans condition et revêtir un caractère irrévocable, faute de quoi il sera inefficace (wirkungslos). La motivation doit également être claire et ne pas comporter de motifs antinomiques (<ref-ruling> consid. 3.3; DAVID LACHAT, La motivation de la résiliation du bail, CdB 2008, p. 65 ss, spéc. p. 70 n° 20 et p. 73 n° 27; PETER HIGI, Zürcher Kommentar, 4e éd. 1995, n° 35 des remarques préliminaires aux art. 266-266o CO). Si les parties ne s'accordent pas sur le sens à donner à cette manifestation de volonté, il y a lieu de l'interpréter selon le principe de la confiance (arrêt 4C.16/2000 du 24 janvier 2001 consid. 1a; cf. aussi <ref-ruling> consid. 3c; SVIT-Kommentar, Das schweizerische Mietrecht, 3e éd. 2008, n° 48 ad <ref-law>). Selon la doctrine, le caractère inconditionnel du droit formateur ne s'oppose pas à ce que le bailleur, à titre préventif, notifie une nouvelle résiliation pour le cas où celle signifiée précédemment serait nulle ou inefficace (SVIT-Kommentar, op. cit., n° 8b des remarques préliminaires aux art. 266-266o CO; DAVID LACHAT, Le bail à loyer, 2008, p. 643 n° 10.4; HIGI, op. cit., nos 10 et 36 des remarques préliminaires aux art. 266-266o CO).
L'<ref-law> dispose que lorsque le délai ou le terme de congé n'est pas respecté, la résiliation produit effet pour le prochain terme pertinent. Cette règle ne concerne pas uniquement la résiliation ordinaire envisagée à l'<ref-law> et peut entre autres s'appliquer par analogie à la résiliation fondée sur le besoin urgent des locaux loués (HIGI, op. cit., nos 45 et 48 ad <ref-law>; le même, Zürcher Kommentar, 3e éd. 1994, n° 46 ad art. 261-261a CO). Il s'agit toutefois de corriger une erreur de date exclusivement, et non pas une résiliation viciée dans ses conditions de fond (<ref-ruling> consid. 3.3 p. 445). Cette disposition est inapplicable lorsque la manifestation de volonté revêt d'autres incertitudes que celle portant sur la date (HIGI, op. cit., n° 44 ad <ref-law>).
La notion de droit formateur exclut en principe la possibilité d'une conversion. Lorsque le locataire reçoit un congé qu'il doit interpréter, selon le principe de la confiance, comme une résiliation anticipée fondée sur l'<ref-law> - c'est-à-dire fondée sur le besoin urgent du bailleur -, il n'a pas à compter avec l'éventualité que le juge transforme le congé qui a été donné en un congé tel qu'il n'a pas été donné; le locataire n'a ainsi pas à envisager un congé ordinaire qui impliquerait de faire valoir d'autres moyens de défense. L'existence même de la règle spéciale de l'<ref-law> montre qu'un report des effets du congé n'est possible que dans le cas d'une erreur sur la date d'échéance (<ref-ruling> consid. 3.3).
8.3 Il ressort de la jurisprudence précitée que si le besoin urgent du nouveau bailleur n'est pas établi, le juge n'a pas à convertir la résiliation en congé ordinaire pour le prochain terme pertinent. Peut donc d'emblée être rejeté le grief selon lequel la prétendue existence d'un besoin non urgent des locaux était propre à entraîner un report du congé au prochain terme contractuel. Il reste à examiner le moyen portant sur le motif du rendement insuffisant.
8.3 Il ressort de la jurisprudence précitée que si le besoin urgent du nouveau bailleur n'est pas établi, le juge n'a pas à convertir la résiliation en congé ordinaire pour le prochain terme pertinent. Peut donc d'emblée être rejeté le grief selon lequel la prétendue existence d'un besoin non urgent des locaux était propre à entraîner un report du congé au prochain terme contractuel. Il reste à examiner le moyen portant sur le motif du rendement insuffisant.
8.4 8.4.1 Selon les constatations de la cour cantonale, les recourants ont résilié le bail de l'intimée par avis officiel du 20 juin 2008 pour le 31 octobre 2008. Interrogés sur les motifs du congé, ils ont indiqué qu'ils souhaitaient installer dans l'appartement la soeur du recourant qui désirait s'établir à Genève. Ils ont également invoqué l'insuffisance de rendement de l'immeuble. Dans leur demande déposée devant le Tribunal des baux et loyers, ils ont expliqué qu'il n'était pas contradictoire de souhaiter installer un proche dans la chose louée tout en exigeant de ce proche qu'il paie un loyer supérieur à celui payé par la locataire en place.
8.4.2 Les recourants ont déclaré résilier le contrat pour le prochain terme légal, à savoir la fin du prochain trimestre de bail (<ref-law>; cf. LACHAT, Bail à loyer, op. cit., p. 650), soit à une date antérieure au terme contractuel échéant le 14 juillet 2009. A l'appui du congé, ils ont invoqué deux motifs de résiliation, l'un extraordinaire, imposant précisément le respect du terme légal (<ref-law>), l'autre ordinaire, soumis au terme contractuel plus éloigné (art. 266a al. 1 in fine CO). La cour cantonale a considéré que le congé signifié était un congé extraordinaire fondé sur l'<ref-law>. Les parties ne contestent pas ce point. Elles divergent sur la question de savoir si les recourants ont de surcroît signifié un congé ordinaire en raison du rendement insuffisant.
Sur le principe, il faut reconnaître, avec la doctrine, la possibilité de signifier une deuxième résiliation "subsidiaire", appelée à déployer ses effets uniquement si le premier congé n'est pas valable. En l'espèce toutefois, une manifestation de volonté des recourants en ce sens fait défaut. Il ne ressort pas du jugement que l'intimée ait compris que les recourants lui signifiaient subsidiairement un congé ordinaire, et le principe de la confiance n'imposait pas non plus une telle interprétation. Les recourants n'ont pas notifié un deuxième avis de congé - cas envisagé par la doctrine - dénonçant le bail pour le 14 juillet 2009. Il n'est pas nécessaire d'examiner plus avant si la résiliation subsidiaire peut être signifiée dans le même avis que la résiliation principale, puisque de toute façon les recourants n'ont pas manifesté une telle volonté dans l'unique avis de congé qu'ils ont adressé à l'intimée. En effet, ils n'y ont indiqué qu'une date d'échéance anticipée, à l'appui de laquelle ils ont invoqué deux motifs dont un seul justifiait la résiliation anticipée. Les parties s'accordent sur le fait que les recourants ont voulu opérer une résiliation anticipée fondée sur un besoin urgent des locaux. Dans un tel contexte, l'intimée pouvait de bonne foi partir du principe que le rendement insuffisant était un motif accessoire et superfétatoire, dès lors qu'il ne pouvait être invoqué indépendamment du motif principal fondé sur le besoin propre, qui seul justifiait le congé anticipé; les recourants n'ont du reste rien dit d'autre lorsqu'ils se sont justifiés sur la compatibilité des deux motifs invoqués. On ne saurait adopter une autre interprétation qui se fonderait sur la prémisse que la date d'échéance serait à la fois correcte pour l'un des motifs invoqués et erronée pour l'autre motif; l'<ref-law> ne saurait trouver application dans un tel cas de figure.
Les recourants objectent qu'ils ont de bonne foi invoqué tous les motifs les ayant conduits à résilier le bail et qu'ils se trouvent discriminés par rapport à un hypothétique bailleur qui se serait limité à faire valoir le motif du rendement insuffisant, car dans ce dernier cas, le correctif de l'<ref-law> aurait sans nul doute été appliqué; la Chambre d'appel aurait "remis en cause" leur réelle intention. Le grief n'est pas fondé; les recourants méconnaissent tout simplement le fait que l'auteur d'une manifestation de volonté équivoque doit, sans égard à sa volonté réelle, se laisser imputer le sens que le destinataire pouvait de bonne foi lui donner.
Ainsi, faute pour les recourants d'avoir manifesté la volonté d'exercer un droit formateur "subsidiaire" tendant à la résiliation ordinaire du contrat pour le prochain terme contractuel, l'autorité précédente n'avait pas à entrer en matière sur le motif du rendement insuffisant. Le grief doit ainsi être rejeté.
Cette constatation prive d'objet les griefs de déni de justice (art. 29 Cst.) et de violation de la garantie de la propriété (art. 26 Cst.) invoqués par les recourants. Il en est de même du grief tiré des prétendues lacunes de l'état de fait sur la question du rendement de l'immeuble (cf. supra, consid. 6).
8.5 En définitive, la Chambre d'appel n'a pas abusé de son pouvoir d'appréciation en considérant que les conditions posées par l'<ref-law> n'étaient pas réalisées. Elle a renoncé à juste titre à examiner la question d'un report du congé au prochain terme contractuel faute pour les recourants d'avoir manifesté la volonté de donner subsidiairement un congé ordinaire. En conséquence, elle n'a pas enfreint le droit fédéral en déclarant le congé inefficace (<ref-ruling> consid. 3.1 p. 441 et consid. 3.3 p. 445; <ref-ruling> consid. 1c/aa; SVIT-Kommentar, op. cit., n° 15 s. ad <ref-law>; LACHAT, Bail à loyer, op. cit., p. 692 n° 4.2.7).
9. Les recourants succombent. Ils supportent solidairement les frais judiciaires et les dépens de l'intimée (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4. Les recourants sont condamnés solidairement à verser à l'intimée une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 4 juillet 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti