Faits: A. Le 30 juin 2005, X._ SA et Y._ ont remis en gérance à Z._ l'exploitation du restaurant à l'enseigne "A._" sis rue ... à Genève, soit une arcade de 106 m2, un entrepôt de 55 m2 et deux places de stationnement. Le contrat a été conclu pour une durée de cinq ans, allant du 1er juillet 2005 au 30 juin 2010, renouvelable ensuite tacitement de deux ans en deux ans. Le montant de la gérance a été fixé à 17'000 fr. par mois. Par la suite, les parties ont adopté deux avenants successifs qui ventilent cette somme en différents postes, mais sans modifier le montant total à payer. Par avis du 19 mars 2009, X._ SA et Y._ ont résilié le bail de Z._ pour le 30 juin 2009, invoquant l'insuffisance du chiffre d'affaires du gérant; subsidiairement, ils ont donné congé pour l'échéance contractuelle, le 30 juin 2010, manifestant la volonté de reprendre l'exploitation de l'établissement. Z._ a contesté la résiliation et ce litige a fait l'objet d'une procédure distincte de celle qui est présentement examinée. Par courrier du 7 avril 2009, Z._ s'est plaint auprès de X._ SA et Y._ de différents défauts dont il a demandé la suppression. N'ayant pas obtenu satisfaction, il a consigné l'intégralité du montant de la gérance à compter du mois de mai 2009. B. Par requête déposée le 29 mai 2009, Z._ a ouvert action contre X._ SA et Y._, demandant la validation de la consignation, l'exécution de travaux et une réduction du montant de la gérance. X._ SA et Y._ se sont opposés à la demande en totalité. N'ayant pas obtenu satisfaction devant la Commission de conciliation en matière de baux et loyers, Z._ a saisi le Tribunal des baux et loyers du canton de Genève. Celui-ci, par jugement du 3 février 2011, a fixé deux périodes de réduction du fermage et ordonné la libération des montants consignés sous réserve des réductions accordées. X._ SA et Y._ ont interjeté appel contre ce jugement, ce qui a amené leur partie adverse à former un appel joint. La Cour de justice, Chambre des baux et loyers, a rendu son arrêt le 19 mars 2012. Procédant à une appréciation des preuves, elle a retenu l'existence des défauts suivants: - la fermeture de la porte d'entrée de l'établissement est défectueuse, - le piano de la cuisine n'est plus aux normes, - le chauffe-assiettes est défectueux, - les chaises sont vétustes, - le bar et le sol sous le bar ont été endommagés lors d'une inondation, - le frigo en inox est défectueux. Annulant le jugement de première instance, la Cour de justice a ordonné à X._ SA et Y._ de procéder, à leurs frais et dans les règles de l'art, à la remise en état du bar endommagé par une inondation. Elle a autorisé Z._, si les travaux n'étaient pas exécutés dans les trente jours à compter de l'entrée en force de l'arrêt, à faire exécuter les travaux et à compenser la facture avec les fermages dus. Elle a par ailleurs réduit le fermage de 15% du 8 avril 2009 au 15 décembre 2009, de 12,5% du 16 décembre 2009 au 30 septembre 2010 et de 7,5% du 1er octobre 2010 au 2 février 2011. Pour fixer ces pourcentages et ces périodes, elle a tenu compte du moment où les bailleurs ont eu connaissance des défauts et du moment où ceux-ci ont été supprimés. Elle a ordonné la libération en faveur des bailleurs des fermages consignés, sauf pour les montants des réductions admises. C. X._ SA et Y._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt du 19 mars 2012. Invoquant l'arbitraire dans l'établissement des faits, ainsi qu'une violation des art. 259b let. b, 259d et 259g CO, ils concluent à l'annulation de l'arrêt attaqué, à la libération des montants consignés en leur faveur et au rejet de la demande avec suite de frais et dépens; subsidiairement, ils demandent que la cause soit renvoyée à l'autorité précédente. Leur requête d'effet suspensif a été rejetée par ordonnance présidentielle du 22 mai 2012. L'intimé a conclu au rejet du recours avec suite de frais et dépens.