Faits:
A. A.a Sieur X._, en tant que locataire, et Y._ SA, en tant que bailleresse, sont liés par un contrat de bail à loyer portant sur un appartement de cinq pièces, situé au 3ème étage d'un immeuble de la rue ***, à Genève. Un premier contrat a été conclu en juin 1988, puis un second pour la période du 1er juillet 1995 au 30 juin 1998; par la suite, ce contrat a été renouvelé tacitement d'année en année. En dernier lieu, le loyer mensuel a été fixé à 1'203 fr., charges comprises.
Les parties ont également conclu un contrat de travail, au terme duquel Sieur X._ devait assumer la conciergerie de deux immeubles, dont celui susmentionné. Il était prévu que la jouissance du logement mis à disposition ne pouvait être dissociée du contrat de travail.
A.b En mai 2003, une procédure pénale a été ouverte à l'encontre du locataire sur plainte d'un de ses voisins, qui lui reprochait d'avoir tenté d'embrasser sa fille mineure dans l'ascenseur de l'immeuble où elle habitait également.
Sieur X._ a été reconnu coupable d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle par le Tribunal de police. Un appel a été formé contre ce jugement devant la Chambre pénale de la Cour de justice, qui a confirmé le jugement du Tribunal de police. Le Tribunal fédéral a été saisi en dernier ressort.
A la suite de plaintes formulées par d'autres habitants de l'immeuble au sujet du comportement adopté par le locataire, la bailleresse a rappelé à ce dernier, par lettres des 18 avril 2007, 24 août 2007 et 1er octobre 2007, qu'il lui incombait d'avoir à l'égard des autres locataires une attitude polie et respectueuse.
La bailleresse a, à plusieurs reprises - soit les 24 août 2007, 1er octobre 2007 et 19 juin 2008 -, clairement fait savoir au locataire, accusé d'infractions pénales à l'encontre d'enfants mineurs d'autres locataires de l'immeuble, que si la condamnation prononcée par le Tribunal de police le 25 mai 2007 devait être confirmée, elle se verrait dans l'obligation de résilier tant son contrat de travail que son contrat de bail.
La procédure pénale s'est achevée le 8 octobre 2008, date de l'arrêt du Tribunal fédéral, rejetant dans la mesure de sa recevabilité le recours interjeté par Sieur X._.
Le 13 février 2009, le contrat de travail a été résilié avec effet immédiat en application de l'art. 337 CO, au motif que le rapport de confiance était irrémédiablement rompu. Le même jour, le contrat de bail était résilié pour le 31 mars 2009, en application de l'art. 257f al. 3 CO. A l'appui de cette résiliation, la bailleresse invoquait le fait que le locataire continuait, malgré la condamnation pénale devenue définitive et exécutoire et les divers avertissements notifiés au sujet de l'attitude à adopter, à se comporter de manière déplacée envers ses victimes et leur famille. A titre subsidiaire, une résiliation du bail pour la prochaine échéance, soit pour le 30 juin 2009, a été notifiée aux intéressés.
B. Le locataire et son épouse ont saisi la Commission de conciliation en matière de baux et loyers. Ils ont notamment conclu à l'annulation du congé notifié en application de l'art. 257f al. 3 CO, niant le fait que le maintien du bail serait devenu insupportable pour la bailleresse. L'autorité de conciliation a parallèlement été saisie d'une requête en évacuation déposée par la bailleresse. Non conciliées, les deux causes ont été portées devant le Tribunal des baux et loyers du canton de Genève, qui les a jointes.
Par jugement du 11 mai 2010, le tribunal a déclaré valable le congé donné le 13 février 2009 pour le 31 mars 2009, en ordonnant l'évacuation du locataire et de son épouse.
Saisie par ces derniers, la Chambre d'appel en matière de baux et loyers de Genève, par arrêt du 15 novembre 2010, a confirmé le jugement attaqué.
C. C.a Le locataire et son épouse exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Invoquant l'arbitraire dans la constatation des faits et une violation des art. 274d al. 3 CO et 257f al. 3 CO, ils concluent, sous suite de frais et dépens, à l'annulation du congé prononcé en application de l'art. 257f CO et, subsidiairement, au renvoi de la cause à l'autorité cantonale pour nouveau jugement.
La bailleresse demande le rejet du recours avec suite de frais et dépens.
C.b L'effet suspensif sollicité par les recourants leur a été accordé par ordonnance présidentielle le 10 février 2011.

Considérant en droit:
1. 1.1 Lorsque - comme c'est le cas en l'espèce - un locataire conteste la validité du congé qu'il a reçu, la valeur litigieuse déterminante ne saurait être inférieure aux trois ans pendant lesquels, selon l'art. 271 al. 1 let. e CO, il est protégé contre une nouvelle résiliation dans l'hypothèse où il obtiendrait gain de cause (<ref-ruling> consid. 1.1 p. 197; <ref-ruling> consid. 1 p. 386). Le loyer mensuel étant de 1'203 fr., la valeur litigieuse minimum de 15'000 fr. requise en matière de droit du bail par l'art. 74 al. 1 let. a LTF est ici atteinte.
Le recours est interjeté par une des parties (le locataire et son épouse) qui a pris part à l'instance précédente et succombé dans ses conclusions (art. 76 al. 1 LTF). Il est dirigé contre un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF). Déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, il est en principe recevable.
1.2 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400). Par exception à la règle selon laquelle il examine le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; <ref-ruling> consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153 - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 105 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Les juges cantonaux ont considéré que les conditions d'application de l'art. 257f al. 3 CO, qui a fondé le congé extraordinaire notifié aux recourants le 13 février 2009 pour le 31 mars 2009, sont réalisées. Ils ont notamment retenu la violation répétée par le locataire de ses obligations découlant du contrat, en particulier de son devoir de diligence.
Les motifs de la résiliation relèvent de l'établissement des faits (<ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 4.1 p. 702).
Il a été constaté en fait que le locataire a continué, postérieurement aux événements - admis - qui ont donné lieu au jugement pénal, à se comporter de manière inadéquate envers ses victimes et leur famille, ainsi qu'envers d'autres voisins.
Les recourants invoquent l'arbitraire dans l'appréciation des preuves et l'établissement des faits. Ils nient tout comportement répréhensible adopté à l'égard des autres habitants de l'immeuble pour la période postérieure aux faits reconnus et prétendent que la persistance d'un comportement nuisible ne pouvait être établie sur la base des seules déclarations des parents plaignants à la procédure pénale.
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 1.3 p. 4; <ref-ruling> consid. 3.1 p. 265 s.). S'agissant plus précisément de l'appréciation des preuves, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9).
Si, en l'espèce, les plaintes émises de façon répétée émanent bien, dans leur majorité, des parents des victimes, qui ont qualifié le comportement du locataire durant la période en cause de désobligeant, arrogant, déplacé et empreint de propos insultants et d'attitudes intimidantes, ces derniers ne sont pas moins des voisins du locataire. Ils ont au demeurant été entendus, en cours de procédure en qualité de témoins et ont fait, sous la foi du serment, des déclarations convergentes, qui ont été confirmées par une tierce personne, A._. Ce "témoin à charge", qui habite également l'immeuble, s'est plaint auprès de la bailleresse de l'attitude du locataire, en faisant état de menaces au quotidien, formulées de façon déguisée, sarcastique et haineuse. Quoi qu'en disent les recourants, ce témoin ne se confond pas avec le père de l'une des victimes.
On ne saurait ainsi dire que la cour cantonale a apprécié les preuves de façon insoutenable en prenant appui sur les témoignages en question. La critique est infondée.
3. Les recourants invoquent également une violation de l'art. 274d al. 3 CO. Selon cette disposition, le juge établit d'office les faits et apprécie librement les preuves; les parties sont tenues de lui présenter toutes les pièces nécessaires à l'appréciation du litige.
Les recourants affirment en substance que le locataire, qui était en situation de faiblesse à la suite de la condamnation pénale, a dû faire face au ressentiment du père de l'une des victimes, qui a agi de façon très active auprès de la bailleresse pour qu'elle mette un terme au contrat. Ils s'interrogent sur les rapports entre la bailleresse et les parents des victimes, qui voulaient le départ des recourants et ont fait exécuter leur volonté, et soutiennent que ce point devait faire l'objet de plus amples investigations de la part des autorités cantonales. Ces autorités auraient dû encore s'assurer, en invitant la bailleresse à se déterminer sur ce point, que les mises en demeure de cette dernière étaient fondées et s'assurer qu'elles n'ont pas été suivies d'effet.
S'agissant du lien entre la bailleresse et les voisins plaignants, on rappellera que la maxime inquisitoire sociale ne garantit pas aux plaideurs que tous les faits importants soient élucidés (<ref-ruling> consid. 3.1 p. 80; <ref-ruling> consid. 4a p. 238); elle n'oblige en particulier pas le juge à instruire d'office le litige lorsqu'un plaideur renonce à expliquer sa position. Or, les recourants ne prétendent pas avoir cherché à éclaircir cette question - au demeurant dénuée de pertinence - devant l'autorité cantonale. Le grief est infondé.
Il a par ailleurs été constaté en fait, de manière à lier le Tribunal fédéral - le grief d'arbitraire dans la constatation des faits ayant été précédemment écarté (cf. supra, consid. 2) - que la bailleresse a, en raison des doléances de plusieurs habitants de l'immeuble, mis en demeure le locataire recourant de se comporter de façon adéquate vis-à-vis de ses voisins et que, malgré les avertissements reçus, le locataire a persisté à adopter une attitude répréhensible. Sous le couvert d'une violation de l'art. 274d al. 3 CO, les recourants remettent en cause cette constatation de fait, qui découle de l'appréciation faite par les magistrats cantonaux des différents éléments de preuve à disposition.
La maxime inquisitoire sociale impose au juge d'interroger les parties et de les informer de leur devoir de collaborer à l'instruction et de fournir des preuves. Si des motifs objectifs le conduisent à soupçonner que les allégations et offres de preuves d'une partie sont lacunaires, il doit inviter celle-ci à compléter ses moyens. La maxime inquisitoire qui a cours en droit du bail ne permet pas d'étendre ad libitum la procédure probatoire en recueillant toutes les preuves possibles; elle n'exclut nullement une appréciation anticipée des preuves, à l'issue de laquelle le juge renonce à en administrer de supplémentaires parce qu'il dispose déjà des éléments nécessaires pour statuer (<ref-ruling> consid. 3.1 p. 80; <ref-ruling> consid. 4a p. 238).
In casu, les parties ont été interrogées par l'autorité cantonale et rien n'indique que les allégations et offres de preuve des recourants étaient lacunaires. Devant l'absence de motifs objectifs pouvant laisser croire qu'étaient incomplets les moyens de preuve dont l'administration était offerte par le locataire et son épouse, le juge n'avait pas à les interpeller en les incitant à collaborer à l'établissement des faits.
Aucun reproche ne peut être formulé à l'encontre de l'autorité cantonale s'agissant de l'application de la maxime inquisitoire sociale.
4. Les recourants contestent enfin la réalisation des conditions d'application de l'art. 257f al. 3 CO.
L'art. 257f CO prévoit que le locataire doit user de la chose avec le soin nécessaire (al. 1) et, s'il s'agit d'un immeuble, qu'il doit avoir pour les personnes habitant la maison et les voisins les égards qui leur sont dus (al. 2). Lorsque le maintien du bail est devenu insupportable pour le bailleur ou les personnes habitant la maison parce que le locataire, nonobstant une protestation écrite du bailleur, persiste à enfreindre son devoir de diligence ou à manquer d'égards envers les voisins, le bailleur peut résilier le contrat avec effet immédiat; pour les baux d'habitations et de locaux commerciaux, la résiliation peut intervenir moyennant un délai de congé minimum de trente jours pour la fin d'un mois (al. 3).
Sur la base des faits constatés, il est indéniable que le locataire a violé de façon persistante son devoir de diligence envers les voisins de l'immeuble pour leur avoir manqué d'égards de façon flagrante.
Le caractère insupportable du maintien du bail est une condition de la résiliation anticipée de l'art. 257f CO lorsque, comme en l'espèce, le locataire persiste à enfreindre son devoir de diligence ou à manquer d'égards envers les voisins. Cette condition tombe en revanche lorsque le locataire affecte la chose à une utilisation incompatible avec les stipulations du contrat, qui justifie également une résiliation anticipée sur la base de l'art. 257f al. 3 CO (<ref-ruling> consid. 2 p. 111).
Au regard de la nature des infractions pénales commises par le recourant sur des enfants mineurs habitant l'immeuble et du comportement adopté par celui-ci depuis lors au sein même de l'immeuble, la cour cantonale a, à l'évidence, correctement apprécié le caractère insupportable de la poursuite du bail, tant pour la bailleresse que pour les personnes habitant l'immeuble. On rappellera que, sur ce point, le juge statue en équité (<ref-ruling> consid. 2 p. 111) et que, dans un tel cas, le Tribunal fédéral ne doit pas substituer sa propre appréciation à celle de l'autorité cantonale, la décision d'équité n'étant revue qu'avec réserve (<ref-ruling> consid. 2 p. 123 s. et les arrêts cités).
Comme l'exige l'art. 257f al. 3 CO, la bailleresse a adressé une protestation écrite, voire même plusieurs, mais le locataire a continué d'enfreindre son devoir d'égards envers les voisins.
Le congé a été donné au locataire et à son épouse, sur formule officielle, en respectant le délai et le terme fixés par l'art. 257f al. 3 CO (cf. aussi art. 266n CO).
Le congé a donc respecté toutes les conditions posées par l'art. 257f al. 3 CO.
Il ne saurait par ailleurs être question d'une annulabilité du congé au sens des art. 271 et 271a CO, dès lors qu'aucune forme d'abus de droit de la part de la bailleresse n'est établie.
5. En conclusion, le recours doit être rejeté.
La partie qui succombe doit acquitter les frais judiciaires et les dépens (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Les recourants, solidairement entre eux, verseront à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 1er mars 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin