Faits:
A. A.a Par contrat de bail à loyer du 29 février 2008, Y._ (ci-après: le locataire) s'est fait céder l'usage de locaux commerciaux destinés à l'exploitation d'un bar, au rez-de-chaussée et au sous-sol d'un immeuble sis dans la vieille ville de Genève. Le contrat était conclu pour une durée initiale de cinq ans, du 15 mars 2008 au 14 mars 2013; il était ensuite renouvelable tacitement d'année en année, sauf préavis de résiliation signifié six mois avant l'échéance.
Par convention de cession de commerce signée le même jour, le locataire a repris de la propriétaire bailleresse tous les éléments d'exploitation du bar (agencement, mobilier, matériel, installations, enseigne, travaux déjà effectués) pour le prix de 110'000 fr.
A.b Quelques mois après, soit en juillet 2008, la propriété de l'immeuble a passé à H.X._ et F.X._ ainsi qu'à A._, lequel a ensuite revendu sa part aux deux prénommés. H.X._ et F.X._ sont actifs dans l'achat, la vente et le courtage immobilier, ainsi que dans la gestion immobilière. Ils sont associés gérants d'une société dénommée "V._ Sàrl", dont le but social est d'exercer des activités d'exploitation, direction et gestion notamment dans les secteurs suivants: restauration, traiteur, tea-room, boulangerie, pâtisserie et glacier.
A.c Dans un premier temps, le locataire a sous-loué l'arcade commerciale avec l'accord de l'ancienne propriétaire signataire du bail. Par courrier du 18 mai 2009, les nouveaux bailleurs ont dit avoir appris que les locaux étaient sous-loués sans autorisation et ont sommé le locataire de leur communiquer les conditions de la sous-location. Le locataire s'est référé à l'accord donné par la précédente bailleresse.
Suite au départ inopiné du gérant au cours de l'été 2009, le bar est resté fermé plusieurs mois. Dans un courrier recommandé du 5 octobre 2009, les nouveaux bailleurs ont enjoint le locataire de rouvrir le bar fermé depuis plusieurs semaines, faute de quoi son bail serait résilié à titre anticipé. Ils ont par ailleurs annoncé qu'ils n'entendaient pas renouveler le bail à l'échéance du 14 mars 2013, notifiant également un avis officiel de résiliation.
Le 14 octobre 2009, le locataire, qui avait trouvé un repreneur potentiel, a demandé aux bailleurs d'autoriser le transfert du bail. Ces derniers s'y sont opposés au motif que le prix de vente du fonds de commerce (150'000 fr.) était surfait et que la résiliation du bail rendait inapplicable la convention de reprise.
A.d Le 5 novembre 2009, le locataire a saisi l'autorité genevoise de conciliation en matière de baux et loyers. A la demande du locataire, les bailleurs ont expliqué par courrier du 23 décembre 2009 que le congé était motivé par leur volonté de reprendre les locaux pour leur propre usage. Devant l'autorité de conciliation, ils ont précisé vouloir installer une agence immobilière.
Le 22 juin 2010, la Commission de conciliation a annulé le congé. Elle a reproché aux bailleurs d'avoir fait preuve de contradiction en invoquant tout d'abord l'absence d'exploitation de l'arcade, puis le besoin propre.
B. B.a Le 16 juillet 2010, les bailleurs ont saisi le Tribunal des baux et loyers du canton de Genève en l'invitant à constater la validité du congé. Le locataire a conclu au rejet, subsidiairement à une prolongation de bail pour une durée de six ans, soit jusqu'au 14 mars 2019.
Les bailleurs ont expliqué qu'ils projetaient d'exploiter une agence immobilière comprenant une réception au rez-de chaussée (soit dans les locaux litigieux) et des bureaux au 1er étage. A cette fin, ils avaient aussi résilié le bail du locataire installé au 1er étage; un accord avait été trouvé pour un départ au 31 août 2013. Les bailleurs ont admis n'avoir déposé aucune demande d'autorisation de construire; une telle démarche leur semblait prématurée compte tenu des aléas grevant la résiliation du bail. Le locataire a pour sa part allégué que le projet n'obtiendrait pas l'autorisation du département concerné; le motif réel des bailleurs était de reprendre l'exploitation de l'établissement public en profitant de son fonds de commerce et de sa clientèle sans bourse délier.
Par jugement du 14 décembre 2011, le Tribunal des baux a annulé le congé notifié le 5 octobre 2009 pour le 14 mars 2013. Il a constaté que la réalité du motif invoqué pour justifier le congé n'avait pas été établie à satisfaction de droit. Le projet d'installer une agence immobilière ne présentait aucune réalité tangible. Un doute demeurait quant à la possible intention de reprendre l'exploitation de l'établissement par le biais de la société V._ Sàrl et de profiter ainsi de la clientèle fidélisée par le locataire. Un tel motif n'était pas digne de protection.
B.b Les bailleurs ont formé appel auprès de la Chambre des baux et loyers de la Cour de justice genevoise. Celle-ci, par arrêt du 5 novembre 2012, a confirmé l'annulation du congé, en se fondant sur une argumentation partiellement divergente (cf. infra consid. 1.3).
C. Les bailleurs saisissent le Tribunal fédéral d'un recours en matière civile, en l'invitant à déclarer valable la résiliation notifiée pour le 14 mars 2013 et à refuser toute prolongation de bail.
Le locataire intimé conclut au rejet du recours, subsidiairement à une prolongation de bail d'une durée de six ans.
L'autorité précédente se réfère à son arrêt.

Considérant en droit:
1. Les bailleurs invoquent une violation de l'<ref-law>. Selon eux, il serait conforme à la bonne foi de résilier le bail pour transformer les locaux en agence immobilière, qu'ils entendent exploiter personnellement. Le locataire objecte qu'un tel projet ne saurait recueillir l'autorisation des autorités administratives.
1.1 Dans un bail à durée indéterminée, chaque partie est en principe libre de le résilier pour la prochaine échéance en respectant le délai de congé (cf. <ref-law>). Toutefois, la résiliation des baux d'habitation ou de locaux commerciaux est annulable lorsqu'elle contrevient aux règles de la bonne foi (<ref-law>), respectivement lorsqu'elle est donnée dans les cas énoncés à l'<ref-law>.
L'<ref-law> prohibe le congé purement chicanier, ne répondant à aucun intérêt objectif, sérieux et digne de protection, dont le motif n'est qu'un prétexte (<ref-ruling> consid. 2.1 p. 62; <ref-ruling> consid. 2 p. 192). Pour dire si un congé est ou non abusif, il faut connaître le motif réel de la résiliation, dont la constatation relève de l'établissement des faits (cf. <ref-ruling> consid. 2.3 p. 515; <ref-ruling> consid. 2 p. 192).
Le congé doit être motivé si l'autre partie le demande (<ref-law>). L'absence de motivation ou une motivation mensongère n'affecte pas en soi la validité du congé. Toutefois, elle peut être un indice que le congé ne poursuit aucun intérêt digne de protection (<ref-ruling> consid. 4b). Est ainsi contraire à la bonne foi la résiliation fondée sur un motif qui n'est manifestement qu'un prétexte (<ref-ruling> consid. 2.1 p. 62; <ref-ruling> consid. 4.1; <ref-ruling> consid. 4a).
1.2 Dans une affaire jugée en 2010, le Tribunal fédéral a reconnu la validité d'un congé motivé par une volonté de changer l'affectation de locaux commerciaux abritant jusque-là un restaurant; il a précisé dans un obiter dictum que le congé devrait probablement être jugé inconciliable avec les règles de la bonne foi dans l'hypothèse où le changement serait de toute évidence exclu par les règles de droit public (ATF <ref-ruling> consid. 3 et 4). A également été jugé conforme à la bonne foi le congé donné à l'exploitant d'un magasin de vêtements par un bailleur qui souhaitait récupérer les locaux pour y promouvoir ses produits de prévoyance pour la vieillesse: le propriétaire est en principe libre de décider de changer l'affectation de sa chose après l'expiration du contrat de bail (arrêt 4A_167/2012 du 2 août 2012 consid. 2.2).
L'<ref-law> ne subordonne pas la validité du congé à l'obtention des autorisations administratives nécessaires, ni même au dépôt des pièces permettant de prononcer l'autorisation. Lorsque le congé est motivé par une volonté réelle d'effectuer de lourds travaux de rénovation dont la nécessité est établie, il incombe au locataire de prouver que le bailleur se heurtera de façon certaine à un refus d'autorisation de la part des autorités administratives compétentes, respectivement de démontrer que le projet est objectivement impossible. A défaut, le congé est conforme à la bonne foi (arrêt 4A_518/2010 du 16 décembre 2010 consid. 2.6, in MRA 2011 p. 59 [d]; cf. aussi arrêt 4P.274/2004 du 24 mars 2005 consid. 3.3, in mp 2005 p. 172 (d) et rés. in DB 2006 p. 40, suivi d'un commentaire de LAURA JACQUEMOUD ROSSARI).
Cette jurisprudence s'appuie sur les termes mêmes utilisés par certains auteurs (RICHARD BARBEY, Protection contre les congés concernant les baux d'habitation et de locaux commerciaux, 1991, p. 180 n. 216; Commentaire SVIT - Le droit suisse du bail à loyer, 2011, n° 32 ad <ref-law>). D'autres auteurs relèvent que le congé est abusif lorsqu'il est donné pour effectuer des travaux non autorisables ou non réalisables et/ou se réfèrent à la jurisprudence (ROGER WEBER, in Basler Kommentar, 5e éd. 2011, n° 6 ad art. 271-271a CO; Commentaire pratique, Droit du bail à loyer, 2010, CAROLE AUBERT, n° 20 ad <ref-law> et PHILIPPE CONOD, n° 8 ad <ref-law>; DAVID LACHAT, Le bail à loyer, 2008, p. 734; ANITA THANEI, Ausgewählte Entscheide zum Kündigungsschutz [...], 1996, p. 26).
1.3 La Cour de justice a examiné la faisabilité du projet d'aménagement d'une agence immobilière à l'aune de l'art. 9 du règlement du 20 février 2007 relatif aux plans d'utilisation du sol de la Ville de Genève (RPUS), dont la teneur est notamment la suivante:
"Les surfaces au rez-de-chaussée, lorsqu'elles donnent sur des lieux de passage ouverts au public, doivent être affectées ou rester affectées, pour la nette majorité de chaque surface, à des activités accessibles au public en matière de commerce, d'artisanat ou d'équipements sociaux ou culturels à l'exclusion des locaux fermés au public.
(...)
Par locaux fermés au public, on entend des locaux inoccupés par des personnes ou occupés essentiellement par des travailleurs de l'entreprise ou accessibles à une clientèle reçue dans des conditions de confidentialité, notamment cabinets médicaux, bureau d'avocats, notaires, fiduciaires, experts-comptables, agents immobiliers, etc."
Le Tribunal fédéral a jugé que cette disposition ne porte pas une atteinte disproportionnée à la garantie de la propriété et à la liberté économique des propriétaires et agents immobiliers concernés. Elle n'exclut pas les affectations mixtes, impliquant une cohabitation entre surfaces fermées au public et surfaces ouvertes au public, pour autant que ces dernières soient en "nette majorité". Il convient de déterminer au cas par cas si une agence immobilière remplit les exigences de l'art. 9 RPUS (arrêt 1C_317/2009 du 15 janvier 2010 consid. 8.2, in SJ 2010 I 297).
Selon la Cour de justice, l'on ne saurait considérer d'emblée que l'autorisation de transformer les locaux en agence immobilière devrait être refusée, pour le cas où elle serait effectivement demandée; toutefois, il existe une "probabilité non négligeable" qu'elle soit refusée par l'autorité compétente. En notifiant le congé en dépit de cette incertitude, et en se dispensant d'entamer les démarches administratives qui auraient cas échéant permis de la lever, les bailleurs ont agi de manière contraire à la bonne foi. De surcroît, il plane un doute "non négligeable" quant à la réalité du motif allégué: outre l'absence de toute autre démarche concrète, telle que la réalisation de plans d'architecte portant sur la réunion des locaux litigieux avec ceux du 1er étage, il faut relever l'association des bailleurs en une société notamment active dans la restauration, traiteur, tea-room, boulangerie, pâtisserie et glacier (arrêt attaqué, p. 8 s.).
1.4 La Cour de justice est partie du principe qu'il suffisait d'une probabilité non négligeable de voir l'autorisation administrative refusée pour retenir un congé abusif. Une telle prémisse se révèle erronée, au regard de la jurisprudence précitée. En réalité, le problème se pose de la façon suivante:
- soit le motif de congé invoqué est bien réel, auquel cas le locataire doit rapporter la preuve que le projet d'aménager une agence immobilière se heurtera de façon certaine au refus des autorités administratives. S'il échoue dans cette preuve, le congé doit être considéré comme conforme à la bonne foi;
- soit le motif invoqué n'est qu'un prétexte, ce qui appelle en principe la conclusion que le congé est abusif. Un pronostic défavorable quant à la faisabilité du projet peut être l'un des indices que le motif invoqué n'est qu'un prétexte.
1.5 L'intimé plaide que le changement d'affectation ne pourra qu'être refusé. Il invoque trois éléments: "l'art. 9 al. 3 RPUS", voué à maintenir au centre-ville des activités d'animation de type cafés-restaurants; la volonté notoire des autorités politiques de réduire les changements d'arcades commerciales en bureaux; enfin, l'étroitesse et la configuration des locaux, qui exclurait une cohabitation entre surfaces fermées au public et surfaces ouvertes.
Une telle argumentation ne répond pas aux exigences de motivation plus strictes découlant de l'<ref-law>, étant précisé que le Tribunal fédéral ne peut contrôler l'application d'un règlement communal que si elle contrevient au droit constitutionnel, notamment à l'interdiction de l'arbitraire (art. 9 Cst.; cf. <ref-ruling> consid. 1.2). Au demeurant, la cour cantonale n'a pas ignoré dans son pronostic la jurisprudence fédérale relatif au règlement concerné (arrêt 1C_317/2009 précité), ni l'argument du locataire sur l'exiguïté des locaux et leur configuration (arrêt, p. 4 let. i). Pour le surplus, le Conseil d'Etat genevois a certes approuvé une modification du RPUS, comprenant un art. 9 al. 3 dont la teneur est en substance la suivante:
"Art. 9 al. 3. Maintien des activités d'animation
Les cafés, restaurants, tea-rooms [...] situés tout particulièrement au centre-ville (secteur A) ou en bordure des rues commerçantes de quartier (secteur B) selon la carte annexée, conservent en règle générale leur catégorie d'activité en cours d'exploitation ou leur dernière exploitation, s'il s'agit de locaux vacants."
Il apparaît toutefois que le règlement modifié est contesté devant les tribunaux. La Chambre administrative de la Cour de justice en a annulé une disposition (arrêt ATA/49/2013 du 29 janvier 2013, accessible sur le site Internet http://ge.ch/justice/bienvenue-sur-les-pages-de-la-jurisprudence-genevoise); le Tribunal fédéral est actuellement saisi. Sans préjuger du sort de la procédure de droit public, il faut constater que l'art. 9 al. 3 ne fait qu'énoncer une "règle générale", partant susceptible d'exceptions.
1.6 Au vu de ce qui précède, la cause doit être renvoyée à la cour cantonale pour qu'elle tranche la question de savoir si le motif de congé invoqué par les bailleurs est réel - et conforme à la bonne foi, en particulier parce que la faisabilité du projet ne peut pas être objectivement exclue, ou si le motif n'est qu'un pur prétexte. Le cas échéant, la cour se prononcera sur la demande de prolongation.
2. En définitive, le recours est partiellement admis. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Les recourants obtiennent partiellement gain de cause, l'issue du litige restant incertaine. Dans ces circonstances, il se justifie de répartir l'émolument judiciaire entre les parties adverses et de compenser les dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité précédente pour qu'elle rende une nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis pour moitié à la charge des recourants, solidairement entre eux, et pour l'autre moitié à la charge de l'intimé.
3. Les dépens sont compensés.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 30 avril 2013
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti