Faits:
A. Le 30 juin 2005, X._ SA et Y._ ont remis en gérance à Z._ l'exploitation du restaurant à l'enseigne "A._" sis rue ... à Genève, soit une arcade de 106 m2, un entrepôt de 55 m2 et deux places de stationnement. Le contrat a été conclu pour une durée de cinq ans, allant du 1er juillet 2005 au 30 juin 2010, renouvelable ensuite tacitement de deux ans en deux ans. Le montant de la gérance a été fixé à 17'000 fr. par mois. Par la suite, les parties ont adopté deux avenants successifs qui ventilent cette somme en différents postes, mais sans modifier le montant total à payer.
Par avis du 19 mars 2009, X._ SA et Y._ ont résilié le bail de Z._ pour le 30 juin 2009, invoquant l'insuffisance du chiffre d'affaires du gérant; subsidiairement, ils ont donné congé pour l'échéance contractuelle, le 30 juin 2010, manifestant la volonté de reprendre l'exploitation de l'établissement. Z._ a contesté la résiliation et ce litige a fait l'objet d'une procédure distincte de celle qui est présentement examinée.
Par courrier du 7 avril 2009, Z._ s'est plaint auprès de X._ SA et Y._ de différents défauts dont il a demandé la suppression. N'ayant pas obtenu satisfaction, il a consigné l'intégralité du montant de la gérance à compter du mois de mai 2009.
B. Par requête déposée le 29 mai 2009, Z._ a ouvert action contre X._ SA et Y._, demandant la validation de la consignation, l'exécution de travaux et une réduction du montant de la gérance.
X._ SA et Y._ se sont opposés à la demande en totalité.
N'ayant pas obtenu satisfaction devant la Commission de conciliation en matière de baux et loyers, Z._ a saisi le Tribunal des baux et loyers du canton de Genève. Celui-ci, par jugement du 3 février 2011, a fixé deux périodes de réduction du fermage et ordonné la libération des montants consignés sous réserve des réductions accordées.
X._ SA et Y._ ont interjeté appel contre ce jugement, ce qui a amené leur partie adverse à former un appel joint.
La Cour de justice, Chambre des baux et loyers, a rendu son arrêt le 19 mars 2012. Procédant à une appréciation des preuves, elle a retenu l'existence des défauts suivants:
- la fermeture de la porte d'entrée de l'établissement est défectueuse,
- le piano de la cuisine n'est plus aux normes,
- le chauffe-assiettes est défectueux,
- les chaises sont vétustes,
- le bar et le sol sous le bar ont été endommagés lors d'une
inondation,
- le frigo en inox est défectueux.
Annulant le jugement de première instance, la Cour de justice a ordonné à X._ SA et Y._ de procéder, à leurs frais et dans les règles de l'art, à la remise en état du bar endommagé par une inondation. Elle a autorisé Z._, si les travaux n'étaient pas exécutés dans les trente jours à compter de l'entrée en force de l'arrêt, à faire exécuter les travaux et à compenser la facture avec les fermages dus. Elle a par ailleurs réduit le fermage de 15% du 8 avril 2009 au 15 décembre 2009, de 12,5% du 16 décembre 2009 au 30 septembre 2010 et de 7,5% du 1er octobre 2010 au 2 février 2011. Pour fixer ces pourcentages et ces périodes, elle a tenu compte du moment où les bailleurs ont eu connaissance des défauts et du moment où ceux-ci ont été supprimés. Elle a ordonné la libération en faveur des bailleurs des fermages consignés, sauf pour les montants des réductions admises.
C. X._ SA et Y._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt du 19 mars 2012. Invoquant l'arbitraire dans l'établissement des faits, ainsi qu'une violation des art. 259b let. b, 259d et 259g CO, ils concluent à l'annulation de l'arrêt attaqué, à la libération des montants consignés en leur faveur et au rejet de la demande avec suite de frais et dépens; subsidiairement, ils demandent que la cause soit renvoyée à l'autorité précédente. Leur requête d'effet suspensif a été rejetée par ordonnance présidentielle du 22 mai 2012.
L'intimé a conclu au rejet du recours avec suite de frais et dépens.

Considérant en droit:
1. 1.1 Compte tenu des réductions du fermage réclamées en dernier lieu devant la cour cantonale et entièrement contestées (cf. <ref-law>), il n'est pas douteux que la valeur litigieuse minimale de 30'000 fr. requise par l'<ref-law> est atteinte (cf. <ref-ruling> consid. 1.1 p. 197).
Interjeté par les parties qui ont succombé dans leurs conclusions libératoires et qui ont donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 45 al. 1, 46 al. 1 let. a, 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé également pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 4 p. 317 s.; <ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 187). La recourante qui se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit motiver son grief en respectant les exigences strictes déduites de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 Il ressort des constatations cantonales - qui lient le Tribunal fédéral (<ref-law>) - que les parties sont convenues que les recourants cédaient à l'intimé l'exploitation d'un restaurant entièrement équipé, moyennant paiement d'une redevance mensuelle.
La première question à résoudre est de savoir si le contrat doit être qualifié de bail à loyer (<ref-law>) ou de bail à ferme non agricole (<ref-law>).
Le bail à ferme se distingue du bail à loyer par l'objet du contrat. Le bailleur ne cède pas à son cocontractant l'usage de n'importe quelle chose, mais l'usage d'un bien ou d'un droit productif, dont le fermier peut percevoir les fruits ou les produits (cf. <ref-law>). Il y a bail à ferme notamment lorsque le bailleur cède l'exploitation d'une entreprise entièrement équipée, c'est-à-dire d'un outil de production; en revanche il faut retenir la qualification de bail à loyer s'il cède des locaux qu'il appartient au cocontractant d'aménager pour en faire une entreprise productive. La mise en gérance libre d'un établissement public entièrement équipé donne lieu à un bail à ferme non agricole (<ref-ruling> consid. 2.1 p. 421). Compte tenu des prestations convenues en l'espèce, il n'est pas douteux que le contrat conclu entre les parties doit être qualifié de bail à ferme non agricole.
2.2 La demande formée par l'intimé est fondée sur les droits du fermier lorsqu'apparaissent, en cours de contrat, des défauts qui ne lui sont pas imputables et auxquels il n'est pas tenu de remédier à ses frais ou qu'il est empêché d'user de la chose conformément au contrat. En vertu de l'<ref-law>, il faut appliquer par analogie les dispositions sur le bail à loyer.
L'<ref-law> prévoit que le locataire, dans une telle situation, peut demander notamment la remise en état de la chose et une réduction proportionnelle du loyer. En cas de carence du bailleur dans la remise en état, l'<ref-law> prévoit que le locataire peut remédier au défaut aux frais du bailleur. En vue de faire pression sur le bailleur pour qu'il effectue les réparations nécessaires, le locataire peut consigner les loyers à échoir aux conditions fixées par l'<ref-law>.
La notion de défaut - qui relève du droit fédéral - doit être rapprochée de l'état approprié à l'usage pour lequel la chose a été louée. Elle suppose la comparaison entre l'état réel de la chose et l'état convenu; il y a ainsi défaut lorsque la chose ne présente pas une qualité que le bailleur avait promise ou lorsqu'elle ne présente pas une qualité sur laquelle le locataire pouvait légitimement compter en se référant à l'état approprié à l'usage convenu. Il n'est pas nécessaire que le bailleur soit en faute ou que le défaut soit réparable (<ref-ruling> consid. 3.2 p. 347). Déterminer quel est l'état réel de la chose est une question de fait.
Quant à la réduction de loyer que peut exiger le locataire en application de l'<ref-law>, elle doit être proportionnelle au défaut et se détermine par rapport à la valeur objective de l'objet sans défaut; elle vise à rétablir l'équilibre des prestations entre les parties (<ref-ruling> consid. 11c p. 394). En principe, il convient de procéder selon la méthode dite relative ou proportionnelle, telle qu'elle est pratiquée dans le contrat de vente: la valeur objective de la chose avec défaut est comparée à sa valeur objective sans défaut, le loyer étant ensuite réduit dans la même proportion. Cependant, le calcul proportionnel n'est pas toujours aisé, notamment lorsque le défaut est de moyenne importance. Il est alors admis qu'une appréciation en équité, par référence à l'expérience générale de la vie, au bon sens et à la casuistique, n'est pas contraire au droit fédéral (<ref-ruling> consid. 4.1 p. 507 s.).
2.3 Les recourants soutiennent que le contrat de fermage a pris fin le 30 juin 2009 en vertu d'un arrêt de la Cour de justice de Genève du 19 septembre 2011, confirmé par un arrêt du Tribunal fédéral du 10 février 2012.
L'existence et le contenu de ces deux décisions judiciaires constituent des faits procéduraux. Or, on ne trouve aucune trace de ces deux arrêts ni dans la décision attaquée, ni dans le dossier qui s'y rapporte (cf. <ref-ruling> consid. 3.3.1 p. 364 s.). Il s'agit donc de faits nouveaux, en principe prohibés par l'<ref-law>.
Certes, l'<ref-law> prévoit une exception lorsque le fait nouveau résulte de la décision de l'autorité précédente. On vise ainsi un fait qui n'est devenu pertinent qu'à la suite de l'arrêt attaqué. Tel est le cas notamment lorsque la décision de l'autorité précédente est fondée sur un nouvel argument juridique auquel les parties n'avaient pas été confrontées auparavant (<ref-ruling> consid. 4.4.3 p. 129; <ref-ruling> consid. 1.5 p. 146). Que les parties soient liées par un contrat de bail à ferme était cependant une condition des prétentions de l'intimé dès le début de la procédure. On ne saurait donc parler de faits qui ne sont devenus pertinents qu'au moment où a été rendue la décision attaquée. Au demeurant, on ne voit pas ce qui empêchait les recourants de signaler ces faits immédiatement à la cour cantonale, comme le prescrit l'<ref-law>.
Il n'est donc pas possible de tenir compte des faits nouveaux invoqués (<ref-law>).
2.4 Les recourants soutiennent que l'intimé n'a pas valablement consigné les loyers selon l'<ref-law>, parce que le contrat prévoyait que le fermage devait être versé au plus tard le 5 de chaque mois et que les consignations sont régulièrement intervenues avec retard. L'intimé répond que la clause contractuelle a été modifiée par actes concluants, parce que les fermages ont toujours été versés par mois échu sans protestation des bailleurs. Les recourants ne démontrent pas le contraire.
L'argumentation présentée repose entièrement sur des faits qui ne sont pas constatés dans la décision attaquée (cf. <ref-law>). Quoi qu'il en soit, on ne voit pas quel intérêt les recourants peuvent avoir à soulever ce grief, étant rappelé qu'un intérêt est requis pour l'exercice de toute voie de droit (<ref-ruling> consid. 1.3 p. 105). En effet, si l'on devait considérer que la consignation n'a pas été valablement opérée et que les montants consignés doivent en conséquence être intégralement versés aux bailleurs, il n'en demeurerait pas moins que la cour cantonale a prononcé des réductions de loyer, de sorte que les recourants devraient payer simultanément les montants perçus en trop, étant rappelé qu'il s'agit d'une prétention contractuelle du fermier qui se prescrit par cinq ans (<ref-ruling> consid. 8.2 p. 514). Les recourants n'ayant jamais conclu au paiement d'intérêts moratoires, on ne voit pas en quoi leur situation pécuniaire serait modifiée si le grief était admis. Il n'y a donc pas lieu d'entrer en matière, faute d'intérêt pour recourir.
2.5 Les recourants contestent que le bar ait été endommagé par une inondation. Il s'agit là d'une pure question de fait. L'intimé fait observer, en se référant à des pièces du dossier, que les bailleurs, dans une lettre de réponse, n'ont pas contesté l'existence de ces dégâts, pas plus que leur assureur auquel le cas a été signalé.
Quoi qu'il en soit, on ne discerne pas non plus l'intérêt à recourir. En effet, il résulte du fait que la réduction de loyer a été supprimée après le 2 février 2011 que ce défaut, qui n'est pas encore réparé, ne joue pas de rôle dans la détermination de la réduction du loyer. Par ailleurs, les recourants ne prétendent pas que l'intimé, qui serait sur le point de quitter les lieux, aurait fait réparer le bar à ses frais et demanderait remboursement de sa facture. Le seul problème est que l'arrêt attaqué a ordonné aux recourants de procéder à leurs frais et dans les règles de l'art à la remise en état du bar endommagé par une inondation. Il ressort cependant clairement de cette formulation que si le bar ne présente aucun dégât lié à une inondation, la condamnation est sans portée et ne peut nuire aux recourants. En revanche, si des dégâts d'eau sont constatés, il n'y a rien d'arbitraire à admettre qu'ils ont été causés par l'inondation puisqu'il n'est pas contesté que le sol sous le bar a été endommagé par une inondation.
2.6 Les recourants contestent également que la cuisinière (piano) du restaurant n'ait pas été conforme aux normes. Il s'agit à nouveau d'une question de fait. Les recourants tentent de démontrer une constatation arbitraire des faits en se fondant sur deux dépositions d'un même témoin. Dans sa première déposition, celui-ci a cependant déclaré: "je précise que le piano n'est pas conforme". Dans sa seconde déposition, il a évoqué "l'absence des sécurités sur les feux". Même si l'on comprend des déclarations faites que cette installation était tolérée par les Services industriels, il n'y a rien d'arbitraire à déduire qu'elle n'était pas conforme aux prescriptions de sécurité. Le grief est donc infondé.
2.7 En se référant expressément à l'<ref-law> (qui prévoit la faculté pour le locataire de remédier au défaut aux frais du bailleur), les recourants contestent qu'il était nécessaire de remplacer les chaises et estiment que le problème de la fermeture de la porte était exagéré. Ce grief est toutefois dépourvu de toute pertinence, puisque l'arrêt attaqué n'a nullement permis au fermier de réparer les défauts en question aux frais du bailleur. Seule la réparation du bar endommagé par une inondation a été mentionnée.
2.8 Tenant compte du moment où les défauts ont été signalés et du moment où chacun d'eux a été supprimé, la cour cantonale a déterminé des réductions de fermage en procédant à une appréciation globale de l'ensemble des défauts retenus. Cette manière de procéder ne viole en rien le droit fédéral.
Déterminer le pourcentage de réduction est une question d'appréciation. Le Tribunal fédéral ne substitue pas sa propre appréciation à celle de l'autorité inférieure; il n'intervient que si celle-ci a abusé de son pouvoir d'appréciation, c'est-à-dire si elle a retenu des critères inappropriés ou si la décision rendue aboutit à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 4.1 p. 508).
L'argumentation des recourants est impropre à démontrer un abus du pouvoir d'appréciation. Ils font valoir que la fermeture de la porte était un problème d'importance secondaire. C'est précisément ce que la cour cantonale a admis (arrêt attaqué p. 15 in initio). Il n'y a donc pas trace d'une mauvaise appréciation, les pourcentages fixés ayant été adoptés en procédant à une appréciation d'ensemble des défauts retenus.
Les recourants contestent également que les chaises aient été défectueuses, en soutenant qu'il n'y a eu qu'un pied de chaise fendu. Cette affirmation est contraire aux constatations cantonales qui retiennent, sur la base de témoignages, que les chaises devaient être changées parce qu'il y avait eu plusieurs incidents (arrêt attaqué p. 7). Comme les recourants ne démontrent pas que cette constatation cantonale serait arbitraire (cf. supra consid. 1.3), il n'y a pas lieu de tenir compte de cette version divergente des faits.
2.9 Les pourcentages de réduction admis par la cour cantonale doivent s'appliquer à l'ensemble du fermage, soit en l'occurrence 17'000 fr. par mois. En effet, le fermage doit être compris comme la somme totale que le fermier doit verser en contrepartie de l'usage de la chose (cf. par analogie <ref-law>). La ventilation du fermage en plusieurs postes est sans pertinence dès lors qu'il n'est pas établi en fait que l'un de ces postes correspondrait à autre chose que la contrepartie de la cession d'usage.
La décision attaquée ne viole donc pas le droit fédéral et le recours doit être rejeté.
3. Les frais et dépens sont mis solidairement à la charge des recourants qui succombent (art. 66 al. 1 et 5, art. 68 al. 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants, débiteurs solidaires, verseront à l'intimé une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre des baux et loyers.
Lausanne, le 31 juillet 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget