Faits: A. A.a Par contrat de bail à loyer du 29 février 2008, Y._ (ci-après: le locataire) s'est fait céder l'usage de locaux commerciaux destinés à l'exploitation d'un bar, au rez-de-chaussée et au sous-sol d'un immeuble sis dans la vieille ville de Genève. Le contrat était conclu pour une durée initiale de cinq ans, du 15 mars 2008 au 14 mars 2013; il était ensuite renouvelable tacitement d'année en année, sauf préavis de résiliation signifié six mois avant l'échéance. Par convention de cession de commerce signée le même jour, le locataire a repris de la propriétaire bailleresse tous les éléments d'exploitation du bar (agencement, mobilier, matériel, installations, enseigne, travaux déjà effectués) pour le prix de 110'000 fr. A.b Quelques mois après, soit en juillet 2008, la propriété de l'immeuble a passé à H.X._ et F.X._ ainsi qu'à A._, lequel a ensuite revendu sa part aux deux prénommés. H.X._ et F.X._ sont actifs dans l'achat, la vente et le courtage immobilier, ainsi que dans la gestion immobilière. Ils sont associés gérants d'une société dénommée "V._ Sàrl", dont le but social est d'exercer des activités d'exploitation, direction et gestion notamment dans les secteurs suivants: restauration, traiteur, tea-room, boulangerie, pâtisserie et glacier. A.c Dans un premier temps, le locataire a sous-loué l'arcade commerciale avec l'accord de l'ancienne propriétaire signataire du bail. Par courrier du 18 mai 2009, les nouveaux bailleurs ont dit avoir appris que les locaux étaient sous-loués sans autorisation et ont sommé le locataire de leur communiquer les conditions de la sous-location. Le locataire s'est référé à l'accord donné par la précédente bailleresse. Suite au départ inopiné du gérant au cours de l'été 2009, le bar est resté fermé plusieurs mois. Dans un courrier recommandé du 5 octobre 2009, les nouveaux bailleurs ont enjoint le locataire de rouvrir le bar fermé depuis plusieurs semaines, faute de quoi son bail serait résilié à titre anticipé. Ils ont par ailleurs annoncé qu'ils n'entendaient pas renouveler le bail à l'échéance du 14 mars 2013, notifiant également un avis officiel de résiliation. Le 14 octobre 2009, le locataire, qui avait trouvé un repreneur potentiel, a demandé aux bailleurs d'autoriser le transfert du bail. Ces derniers s'y sont opposés au motif que le prix de vente du fonds de commerce (150'000 fr.) était surfait et que la résiliation du bail rendait inapplicable la convention de reprise. A.d Le 5 novembre 2009, le locataire a saisi l'autorité genevoise de conciliation en matière de baux et loyers. A la demande du locataire, les bailleurs ont expliqué par courrier du 23 décembre 2009 que le congé était motivé par leur volonté de reprendre les locaux pour leur propre usage. Devant l'autorité de conciliation, ils ont précisé vouloir installer une agence immobilière. Le 22 juin 2010, la Commission de conciliation a annulé le congé. Elle a reproché aux bailleurs d'avoir fait preuve de contradiction en invoquant tout d'abord l'absence d'exploitation de l'arcade, puis le besoin propre. B. B.a Le 16 juillet 2010, les bailleurs ont saisi le Tribunal des baux et loyers du canton de Genève en l'invitant à constater la validité du congé. Le locataire a conclu au rejet, subsidiairement à une prolongation de bail pour une durée de six ans, soit jusqu'au 14 mars 2019. Les bailleurs ont expliqué qu'ils projetaient d'exploiter une agence immobilière comprenant une réception au rez-de chaussée (soit dans les locaux litigieux) et des bureaux au 1er étage. A cette fin, ils avaient aussi résilié le bail du locataire installé au 1er étage; un accord avait été trouvé pour un départ au 31 août 2013. Les bailleurs ont admis n'avoir déposé aucune demande d'autorisation de construire; une telle démarche leur semblait prématurée compte tenu des aléas grevant la résiliation du bail. Le locataire a pour sa part allégué que le projet n'obtiendrait pas l'autorisation du département concerné; le motif réel des bailleurs était de reprendre l'exploitation de l'établissement public en profitant de son fonds de commerce et de sa clientèle sans bourse délier. Par jugement du 14 décembre 2011, le Tribunal des baux a annulé le congé notifié le 5 octobre 2009 pour le 14 mars 2013. Il a constaté que la réalité du motif invoqué pour justifier le congé n'avait pas été établie à satisfaction de droit. Le projet d'installer une agence immobilière ne présentait aucune réalité tangible. Un doute demeurait quant à la possible intention de reprendre l'exploitation de l'établissement par le biais de la société V._ Sàrl et de profiter ainsi de la clientèle fidélisée par le locataire. Un tel motif n'était pas digne de protection. B.b Les bailleurs ont formé appel auprès de la Chambre des baux et loyers de la Cour de justice genevoise. Celle-ci, par arrêt du 5 novembre 2012, a confirmé l'annulation du congé, en se fondant sur une argumentation partiellement divergente (cf. infra consid. 1.3). C. Les bailleurs saisissent le Tribunal fédéral d'un recours en matière civile, en l'invitant à déclarer valable la résiliation notifiée pour le 14 mars 2013 et à refuser toute prolongation de bail. Le locataire intimé conclut au rejet du recours, subsidiairement à une prolongation de bail d'une durée de six ans. L'autorité précédente se réfère à son arrêt.