Faits: A. A.a Sieur X._, en tant que locataire, et Y._ SA, en tant que bailleresse, sont liés par un contrat de bail à loyer portant sur un appartement de cinq pièces, situé au 3ème étage d'un immeuble de la rue ***, à Genève. Un premier contrat a été conclu en juin 1988, puis un second pour la période du 1er juillet 1995 au 30 juin 1998; par la suite, ce contrat a été renouvelé tacitement d'année en année. En dernier lieu, le loyer mensuel a été fixé à 1'203 fr., charges comprises. Les parties ont également conclu un contrat de travail, au terme duquel Sieur X._ devait assumer la conciergerie de deux immeubles, dont celui susmentionné. Il était prévu que la jouissance du logement mis à disposition ne pouvait être dissociée du contrat de travail. A.b En mai 2003, une procédure pénale a été ouverte à l'encontre du locataire sur plainte d'un de ses voisins, qui lui reprochait d'avoir tenté d'embrasser sa fille mineure dans l'ascenseur de l'immeuble où elle habitait également. Sieur X._ a été reconnu coupable d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle par le Tribunal de police. Un appel a été formé contre ce jugement devant la Chambre pénale de la Cour de justice, qui a confirmé le jugement du Tribunal de police. Le Tribunal fédéral a été saisi en dernier ressort. A la suite de plaintes formulées par d'autres habitants de l'immeuble au sujet du comportement adopté par le locataire, la bailleresse a rappelé à ce dernier, par lettres des 18 avril 2007, 24 août 2007 et 1er octobre 2007, qu'il lui incombait d'avoir à l'égard des autres locataires une attitude polie et respectueuse. La bailleresse a, à plusieurs reprises - soit les 24 août 2007, 1er octobre 2007 et 19 juin 2008 -, clairement fait savoir au locataire, accusé d'infractions pénales à l'encontre d'enfants mineurs d'autres locataires de l'immeuble, que si la condamnation prononcée par le Tribunal de police le 25 mai 2007 devait être confirmée, elle se verrait dans l'obligation de résilier tant son contrat de travail que son contrat de bail. La procédure pénale s'est achevée le 8 octobre 2008, date de l'arrêt du Tribunal fédéral, rejetant dans la mesure de sa recevabilité le recours interjeté par Sieur X._. Le 13 février 2009, le contrat de travail a été résilié avec effet immédiat en application de l'art. 337 CO, au motif que le rapport de confiance était irrémédiablement rompu. Le même jour, le contrat de bail était résilié pour le 31 mars 2009, en application de l'art. 257f al. 3 CO. A l'appui de cette résiliation, la bailleresse invoquait le fait que le locataire continuait, malgré la condamnation pénale devenue définitive et exécutoire et les divers avertissements notifiés au sujet de l'attitude à adopter, à se comporter de manière déplacée envers ses victimes et leur famille. A titre subsidiaire, une résiliation du bail pour la prochaine échéance, soit pour le 30 juin 2009, a été notifiée aux intéressés. B. Le locataire et son épouse ont saisi la Commission de conciliation en matière de baux et loyers. Ils ont notamment conclu à l'annulation du congé notifié en application de l'art. 257f al. 3 CO, niant le fait que le maintien du bail serait devenu insupportable pour la bailleresse. L'autorité de conciliation a parallèlement été saisie d'une requête en évacuation déposée par la bailleresse. Non conciliées, les deux causes ont été portées devant le Tribunal des baux et loyers du canton de Genève, qui les a jointes. Par jugement du 11 mai 2010, le tribunal a déclaré valable le congé donné le 13 février 2009 pour le 31 mars 2009, en ordonnant l'évacuation du locataire et de son épouse. Saisie par ces derniers, la Chambre d'appel en matière de baux et loyers de Genève, par arrêt du 15 novembre 2010, a confirmé le jugement attaqué. C. C.a Le locataire et son épouse exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Invoquant l'arbitraire dans la constatation des faits et une violation des art. 274d al. 3 CO et 257f al. 3 CO, ils concluent, sous suite de frais et dépens, à l'annulation du congé prononcé en application de l'art. 257f CO et, subsidiairement, au renvoi de la cause à l'autorité cantonale pour nouveau jugement. La bailleresse demande le rejet du recours avec suite de frais et dépens. C.b L'effet suspensif sollicité par les recourants leur a été accordé par ordonnance présidentielle le 10 février 2011.