Faits: A. Depuis octobre 1993, H.X._ loue à Y._ (ci-après: le bailleur) une villa située dans un quartier calme du canton de Genève. Il s'agit d'une importante maison de maître, construite au 18e siècle, comportant 14 pièces réparties sur trois étages plus le sous-sol, ainsi que deux garages. La demeure est agrémentée d'une cour et entourée d'un jardin de 2000 m2. Conclu pour une durée initiale de cinq ans, le contrat de bail liant les parties se renouvelle depuis 1998 tacitement d'année en année. Le loyer mensuel, charges non comprises, se montait initialement à 11'000 fr. par mois, compte tenu des travaux de réfection pris en charge par le locataire. Depuis le 1er octobre 2004, après deux augmentations successives, il atteint la somme mensuelle de 23'000 fr. Depuis 1996, F.X._ et H.X._ (ci-après, par souci de simplification: les locataires) se sont plaints à réitérées reprises auprès du bailleur de multiples défauts affectant les locaux loués. Le 14 juin 1996, ils se sont notamment plaints d'infiltrations d'eau dans le toit et du dysfonctionnement de la chaudière (chaufferie). Le 20 mars 1997, le bailleur a invité les locataires à s'adresser à la régie A._ (ci-après: la régie) pour qu'il soit donné suite à cette demande de travaux, en admettant sur le principe que ceux-ci étaient à la charge du bailleur. Depuis 1998, les rapports entre le bailleur et les locataires se sont dégradés de façon significative. Par courrier du 17 novembre 2004 (récapitulant les nombreuses lettres envoyées au bailleur les années précédentes), les locataires ont établi une liste des défauts qui, selon eux, affectaient la villa. On peut notamment y lire: infiltrations d'eau résultant de la chute de tuiles; mauvais état de la chaufferie; mauvais état des peintures extérieures, des volets et des ferrures; vétusté du bloc cuisine et absence de fonctionnement du lave-vaisselle dans la cuisine du sous-sol; vétusté du séchoir dans la buanderie; impossibilité d'utilisation des fenêtres côté cour en raison de la rupture des câbles; défaut dans le mécanisme du store de la terrasse du jardin; pièces de parquets affaissées ou abimées; infiltrations d'eau dans la cave du sous-sol en raison d'un défaut du mur de pierre des fondations. Dans ce courrier, les locataires ont mis en demeure le bailleur de procéder aux travaux dans un délai de trente jours en vue d'éliminer tous ces défauts. A défaut, ils menaçaient de consigner leur loyer. Après que le bailleur a indiqué aux locataires, par courrier du 25 novembre 2004, que le délai imparti se révélait trop court en raison de l'importance des travaux à entreprendre, la régie a émis divers bons de travaux concernant, entre autres, le remplacement des tuiles fissurées ou cassées sur le toit, la réparation des menuiseries extérieures et le parquet. L'intervention au sujet des tuiles cassées a eu lieu au mois de décembre 2004. Après un échange de correspondances entre les mandataires des parties, les locataires ont consigné l'intégralité de leur loyer dès le mois de février 2005. B. Le 1er mars 2005, F.X._ et H.X._ ont assigné Y._ en exécution des travaux, en réduction de loyer et en validation de la consignation de loyer. L'affaire n'ayant pas été conciliée, les locataires ont saisi le Tribunal des baux et loyers du canton de Genève. Ils ont exposé que de nombreux travaux avaient été effectués et ont relevé, se basant notamment sur le constat d'huissier établi le 26 janvier 2006, que les défauts suivants subsistaient: dysfonctionnement de la chaufferie (laquelle était non conforme aux normes en vigueur en raison d'un thermostat défectueux); persistance de problèmes d'étanchéité dans les étages et d'infiltrations d'eau dans les sous-sols (le drain posé ne s'avérant pas suffisamment efficace); peinture non achevée; appareils électroménagers de la cuisine mal posés; tapis et moquettes endommagés; travaux inachevés dans la buanderie. Ils ont également signalé des erreurs commises dans la pose des volets, de sorte que certains ne pouvaient être bloqués. Le bailleur a exposé que de nombreux défauts considérés comme persistants par les locataires - comme l'état dégradé des volets - relevaient en fait de l'usure normale. Il a précisé que les travaux visant à remédier aux infiltrations d'eau dans les combles et dans une chambre du premier étage avaient pris du retard du fait du comportement des locataires et que les travaux de la chaufferie relevaient de la mise aux normes et non d'un dysfonctionnement. Un transport sur place a été ordonné par le Tribunal des baux et loyers, huit témoins ont été entendus et une abondante correspondance a été échangée entre les mandataires des parties. Dans leurs dernières écritures datées du 15 février 2008, les locataires ont conclu à ce que le bailleur soit condamné à remédier aux défauts persistants. A défaut d'exécution dans le délai de trente jours, ils ont conclu à ce que le Tribunal des baux et loyers les autorise à faire procéder eux-mêmes aux travaux aux frais du bailleur. Ils ont sollicité en outre qu'une réduction de loyer leur soit accordée, à savoir: 20% du 21 juillet 2000 au 17 septembre 2003; 30% du 18 septembre 2003 au 16 novembre 2004; 40% du 17 novembre 2004 au 14 juin 2006; 30% du 15 juin 2006 au 28 septembre 2006; 40% dès le 29 septembre 2006 et jusqu'à l'élimination complète des défauts. Le bailleur a conclu à ce qu'il lui soit donné acte de son engagement à effectuer certains travaux, qu'il soit constaté qu'il a mandaté un cabinet d'architectes pour procéder à l'étude d'autres réparations. Il a conclu au déboutement des locataires pour le surplus et à la levée en sa faveur de la consignation du loyer. Le Tribunal des baux et loyers a, par jugement du 2 juin 2008, ordonné au bailleur "d'exécuter, dans les règles de l'art, les travaux permettant de remédier aux défauts suivants: dégradation du seuil de la terrasse; encadrement des fenêtres, joints entre les dalles, traces d'humidité dans la cage d'escalier et dans les combles". Il a précisé que ces réparations devaient être exécutées dans les six mois à compter de l'entrée en force du jugement et indiqué qu'à défaut d'exécution dans ce délai, les locataires seront autorisés à remédier eux-mêmes aux défauts en mandatant les entreprises de leur choix, aux frais du bailleur, pour autant que ces frais ne soient pas disproportionnés. Pour tenir compte des défauts ayant affecté l'objet loué depuis 2003, ainsi que des défauts auxquels le bailleur n'avait pas encore remédié, le Tribunal des baux et loyers a réduit le loyer de la villa à raison de 10% du 27 janvier 2003 au 16 novembre 2004, 20% du 17 novembre 2004 au 30 octobre 2005, 10% du 1er novembre 2005 au 31 juillet 2007 et 5% du 1er août 2007 jusqu'à complète exécution des travaux et il a ordonné, en faveur du bailleur, la libération de l'intégralité des loyers consignés. Statuant sur appel des locataires et appel incident du bailleur, la Chambre d'appel en matière de baux et loyers du canton de Genève a, par arrêt du 5 octobre 2009, annulé le jugement entrepris et condamné le bailleur "à exécuter, dans les règles de l'art, les travaux permettant de remédier aux défauts suivants: les infiltrations d'eau dans la cave et dans les combles, les traces d'humidité dans l'escalier et dans les chambres, le remplacement de la balustrade du balcon, la dégradation du seuil de la terrasse et des joints de celle-ci ainsi que de l'encadrement des fenêtres". Estimant que les réductions décidées par la première instance étaient insuffisantes, l'autorité précédente les a corrigées de la façon suivante: 7,5% du 24 avril 2001 au 16 novembre 2004; 25% du 17 novembre 2004 au 31 octobre 2005; 15% du 1er novembre 2005 au 31 juillet 2007; 10% du 1er août 2007 jusqu'à complète exécution des travaux. Elle a ordonné la libération, en faveur du bailleur, des loyers consignés. C. Les locataires forment un recours en matière civile au Tribunal fédéral contre l'arrêt du 5 octobre 2009. Ils concluent principalement à ce que le bailleur soit condamné à effectuer les travaux ordonnés dans l'arrêt entrepris dans un délai de six mois à compter du prononcé de la décision du Tribunal fédéral, à ce qu'il soit dit qu'à défaut d'exécution dans ce délai, les locataires seront autorisés à remédier eux-mêmes aux défauts en mandatant les entreprises de leur choix pour procéder à l'exécution des travaux aux frais du bailleur, à ce qu'il soit dit que le loyer est réduit de 20% du 21 juillet 2000 au 16 novembre 2004, de 40% du 17 novembre 2004 au 31 octobre 2005, de 30% du 1er novembre 2005 au 31 juillet 2007, de 20% dès le 1er août 2007 et jusqu'à l'élimination complète des défauts, et à ce que loyers soient déconsignés en leur faveur à due concurrence. Subsidiairement, les recourants concluent à ce qu'ils puissent prouver, par toutes voies de droit utiles, les faits allégués dans leur recours. Ils reprochent à l'autorité précédente d'avoir enfreint les art. 259a, 259b, 259d, 259g CO et d'avoir sombré dans l'arbitraire en appréciant les preuves (art. 9 Cst.). L'intimé conclut, principalement, à l'irrecevabilité du recours, subsidiairement à son rejet, l'arrêt attaqué devant être confirmé. Par ordonnance du 8 décembre 2009, la Présidente de la Ire Cour de droit civil a accordé l'effet suspensif au recours.