Faits:
A. A.a H.X._ et F.X._ sont locataires d'un appartement de cinq pièces, sis aux ..., depuis 1969. Jusqu'en 2003, la locataire F.X._ a assumé la conciergerie de l'immeuble, propriété de Y._.
Le bailleur et les locataires sont liés par un contrat de travail et un contrat de bail, qui ont été conclus le 26 novembre 2001 devant la Commission de conciliation en matière de baux et loyers, avec effet au 1er décembre 2001. Le bail, initialement fixé pour une période déterminée de cinq ans, était ensuite renouvelable tacitement de cinq ans en cinq ans. Le loyer a été convenu à 12'000 fr. par an, charges non comprises, pour la période du 1er décembre 2001 au 30 novembre 2003, puis à 13'200 fr. du 1er décembre 2003 au 30 novembre 2004.
A.b Par avis du 19 juillet 2006, le bail a été résilié pour le 30 novembre 2006. En réponse à l'invitation de motivation formulée par les locataires, le bailleur a précisé que le congé était motivé par diverses plaintes d'autres locataires qui dénonçaient un comportement irrespectueux des époux X._ à leur encontre, depuis plusieurs années. Le bailleur a indiqué que l'attitude des locataires a persisté en dépit de divers courriers d'avertissement et est devenue insupportable pour le voisinage, poussant même certains locataires à déménager.
A l'exception de problèmes rencontrés avec Monsieur A._, qui a également fait l'objet d'une pétition, les époux X._ ont toujours nié l'existence de difficultés relationnelles avec les autres locataires de l'immeuble.
Le 18 août 2006, les locataires ont contesté le congé devant la Commission de conciliation en matière de baux et loyers et requis l'annulation du congé, subsidiairement une prolongation du contrat de bail pour une durée de quatre ans.
B. B.a Par décision du 27 mars 2007, la Commission de conciliation en matière de baux et loyers a déclaré valable le congé du 19 juillet 2006 et accordé aux locataires une unique prolongation du bail au 30 novembre 2010.
Le Tribunal des baux et loyers a été saisi tant par les locataires que par le bailleur. Les mêmes conclusions que celles formulées devant la Commission de conciliation ont été prises par les locataires. Le bailleur, pour sa part, a conclu à la validité du congé et au refus de toute prolongation du bail.
Par jugement rendu le 17 mars 2009, le Tribunal des baux et loyers du canton de Genève a déclaré valable le congé notifié avec effet au 30 novembre 2006 et accordé aux locataires une unique prolongation du bail de quatre ans, au 30 novembre 2010; les parties ont été déboutées de toutes autres conclusions.
B.b Saisie d'un appel des locataires, la Chambre d'appel en matière de baux et loyers du canton de Genève a, par arrêt du 18 janvier 2010, confirmé le jugement entrepris, condamné les locataires, conjointement et solidairement, à un émolument d'appel de 300 fr. et débouté les parties de toute autre conclusion.
En substance, l'autorité cantonale a considéré que le congé, destiné à préserver la paix dans l'immeuble, n'est pas abusif, dès lors que le comportement des locataires, qui entretenaient certes de bons rapports avec une partie des occupants de l'immeuble, a été qualifié d'inadéquat par plusieurs locataires ou anciens locataires, qui se sont plaints auprès de la régie, et qu'une mise en garde du gérant de l'immeuble n'a pas amené d'amélioration. Les juges cantonaux ont par ailleurs confirmé la prolongation de bail, non remise en cause, accordée par les premiers juges.
C. Les locataires exercent contre cet arrêt un recours en matière civile au Tribunal fédéral. Invoquant l'arbitraire dans l'appréciation des preuves et l'établissement des faits, ainsi qu'une violation des art. 257f al. 2 et 271 CO et de l'art. 8 CC, ils concluent, sous suite de dépens, à l'annulation du jugement entrepris, au constat de la non-validité du congé signifié, à l'annulation du congé et au déboutement de la partie adverse de toutes autres, plus amples ou contraires conclusions. A titre subsidiaire, ils requièrent le renvoi de la cause à la Chambre d'appel pour nouvelle décision et, plus subsidiairement, à ce qu'ils soient acheminés à prouver par toutes voies de droit les faits allégués dans le présent recours.
Le bailleur conclut au rejet du recours, sous suite de dépens.

Considérant en droit:
1. 1.1 Lorsqu'une résiliation du bail est contestée, la valeur litigieuse se détermine en additionnant le loyer de la période pendant laquelle le contrat subsiste nécessairement, en supposant que l'on admette la contestation, et qui s'étend jusqu'au moment pour lequel un nouveau congé aurait pu être donné ou l'a été effectivement (<ref-ruling> consid. 1 p. 149; <ref-ruling> consid. 1 p. 185 s.); en cas de contestation par un locataire, il faut donc au moins compter trois ans de loyer en raison de la période de protection prévue par l'art. 271a al. 1 let. e CO (arrêt 4C.155/2000 du 30 août 2000 consid. 1a, in SJ 2001 I p. 17). En conséquence, la valeur litigieuse minimale de 15'000 fr., requise en matière de droit du bail (art. 74 al. 1 let. a LTF) est ici atteinte.
Interjeté par les parties qui ont succombé dans leurs conclusions (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 p. 287 et 6.2 p. 288). Lorsque la partie recourante invoque l'arbitraire dans l'appréciation des preuves, elle doit montrer par une argumentation précise, en se référant si possible à des preuves versées au dossier, que l'opinion de la cour cantonale est insoutenable (arrêt 4A_39/2010 du 29 avril 2010 consid. 1.3; arrêt 4A_621/2009 du 25 février 2010 consid. 1.3). Une rectification de l'état de fait ne peut être demandée que si elle est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2. Les recourants invoquent l'arbitraire dans l'appréciation des preuves et l'établissement des faits, en lien avec les motifs de la résiliation qui est une question de fait (<ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 4.1 p. 702).
2.1 Il a été constaté en fait que les locataires recourants ont eu un comportement qualifié d'inadéquat par plusieurs locataires ou anciens locataires et que le congé était destiné à préserver la paix dans l'immeuble. Les juges ont indiqué que plusieurs plaintes ont été adressées à la régie et qu'aucune amélioration n'a été constatée à la suite de mises en garde.
Les locataires nient avoir adopté une attitude répréhensible à l'égard des autres habitants de l'immeuble et invoquent sur ce point l'arbitraire dans l'appréciation des témoignages recueillis. Ainsi, ils prétendent que les juges ne pouvaient pas valablement privilégier des témoignages issus de proches du bailleur au détriment des autres témoignages, qui, tous, nient le comportement répréhensible retenu.
Les recourants contestent également l'existence de plaintes formulées à leur encontre auprès de la régie et, par voie de conséquence, toute mise en garde du gérant de l'immeuble; ils prétendent que la cour cantonale ne pouvait pas s'appuyer sur ces éléments de fait pour arrêter que le congé était destiné à préserver la paix dans l'immeuble.
2.2 L'autorité cantonale a clairement indiqué que les locataires entretenaient de bonnes relations avec une partie des occupants de l'immeuble, en se référant à six témoignages recueillis. Elle a néanmoins relevé que les locataires avaient également fait l'objet de doléances de la part d'autres locataires, en précisant leur identité. Ainsi, elle a mentionné qu'il s'agissait de B._, beau-fils du bailleur, de A._, qui faisait aussi l'objet de plaintes des locataires, de l'ancienne compagne de celui-ci, C._, et de l'exploitant d'un garage, D._.
S'il ne peut être contesté que les témoignages faisant état du comportement répréhensible des recourants émanent, pour l'un, d'un membre de la famille du bailleur et, pour d'autres, d'une personne que ce dernier a qualifié d'ami et d'une proche de cet ami, rien n'indique que ces personnes n'ont pas réellement rencontré des problèmes avec les recourants. Ces derniers reconnaissent même, dans leur mémoire de recours, que leur rapport était excellent avec "quasiment la totalité des locataires de l'immeuble", ce qui laisse penser que des tensions existaient avec une partie des locataires. Les recourants ne font par ailleurs état d'aucun moyen de preuve qui permettrait d'établir que les témoins entendus se seraient concertés pour témoigner de l'attitude inadéquate des époux X._. Que le témoin A._ ait été l'instigateur de nombreux désagréments dans l'immeuble et que le garagiste D._ ait fait l'objet de remarques de la part de locataires ne permettent pas d'établir l'existence d'une telle concertation.
On ne saurait ainsi dire que la cour cantonale a apprécié les preuves de façon insoutenable en prenant appui sur les témoignages en question, même si ces derniers émanent pour certains d'entre eux de proches du bailleur.
Le fait qu'un certain nombre de locataires s'entendaient bien avec les recourants ne signifie pas encore que le comportement de ces derniers était exempt de toute critique. On ne saurait en particulier exclure l'existence de conflits entre occupants d'un immeuble du fait que plusieurs habitants maintiennent de bons rapports entre eux. De même, l'attitude sujette à caution d'un autre locataire ne saurait libérer les recourants de tout reproche. Enfin, quoi qu'en disent les recourants, il apparaît, à la lecture des actes cantonaux, que les époux X._ ont bien fait l'objet de réclamations auprès du propriétaire et/ou de la régie (P.J. nos 26 à 32) et de mises en garde de cette dernière (P.J. nos 24 et 25).
C'est donc sans arbitraire que la cour cantonale a retenu que les recourants ont eu un comportement qualifié d'inadéquat par plusieurs locataires ou anciens locataires et que le congé était destiné à préserver la paix dans l'immeuble.
3. Les recourants invoquent également une violation des art. 253 ss CO, en particulier des art. 257f al. 2 et 271 CO.
A teneur de l'art. 271 al. 1 CO, le congé est annulable lorsqu'il contrevient aux règles de la bonne foi. Selon la jurisprudence (<ref-ruling> consid. 4a p. 33), la protection accordée par l'art. 271 al. 1 CO procède à la fois du principe de la bonne foi (art. 2 al. 1 CC) et de l'interdiction de l'abus de droit (art. 2 al. 2 CC). Le congé doit être considéré comme abusif s'il ne répond à aucun intérêt objectif, sérieux et digne de protection (<ref-ruling> consid. 4.1 p. 119); est notamment abusif le congé purement chicanier dont le motif n'est manifestement qu'un prétexte (<ref-ruling> consid. 4a p 32 s.).
Etant constaté en fait - d'une manière qui lie le Tribunal fédéral - que le congé a été donné afin de préserver la paix dans l'immeuble, et non pas, comme soutenu par les recourants, par pur et simple appât du gain, la conclusion juridique qu'en tire la cour cantonale ne viole pas le droit fédéral. On ne saurait en outre suivre l'argumentation des recourants fondée sur la précarité de leur situation économique, dès lors que ce fait ne ressort pas des constatations cantonales. Par conséquent, il n'y a pas lieu d'admettre que le congé ordinaire signifié le 19 juillet 2006 pour le 30 novembre 2006 contrevienne aux règles de la bonne foi.
Pour le surplus, on ne discerne pas en quoi l'autorité cantonale aurait violé l'art. 257f al. 2 CO, qui traite du devoir de diligence du locataire dont le non-respect peut justifier une résiliation anticipée au sens de l'alinéa 3 de cette même disposition.
4. Les recourants dénoncent également une violation de l'art. 8 CC. Ils reprochent à la cour cantonale de n'avoir pas retenu que les locataires "ont clairement démontré que le motif invoqué par le bailleur est contraire à la bonne foi".
Dans leur grief, les recourants se livrent à une nouvelle critique de l'appréciation des preuves, sans tenter de démontrer que la cour cantonale aurait réparti de façon erronée le fardeau de la preuve. C'est donc en vain qu'ils arguent de l'art. 8 CC, cette disposition ne régissant pas l'appréciation des preuves (arrêt 4A_440/2009 du 17 décembre 2009 consid. 3 et la référence).
5. Le recours est rejeté dans la mesure de sa recevabilité.
A titre de partie qui succombe, les recourants doivent acquitter l'émolument à percevoir par le Tribunal fédéral et les dépens auxquels les intimés peuvent prétendre.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimé une indemnité de 3'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 12 juillet 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin