Faits:
A.
A.a. Depuis le 15 mars 2008, Z._ est locataire d'une arcade commerciale destinée à l'exploitation d'un bar, au rez-de-chaussée d'un immeuble situé dans la vieille ville de Genève.
Avec l'accord de la bailleresse, le locataire a sous-loué les locaux à un gérant. En juillet 2008, l'immeuble a été racheté par H.X._ et F.X._, ainsi que par un tiers qui leur a ensuite revendu sa part de copropriété.
Le 18 mai 2009, les nouveaux bailleurs ont sommé le locataire de leur communiquer les conditions de la sous-location, dont ils relevaient qu'elle n'était pas autorisée. Le locataire s'est référé à l'accord donné par la précédente propriétaire.
Suite au départ inopiné du gérant au cours de l'été 2009, le bar est resté fermé plusieurs mois. Le 5 octobre 2009, les bailleurs ont enjoint le locataire de rouvrir le bar, faute de quoi son bail serait résilié à titre anticipé; par la même occasion, ils lui ont notifié un avis officiel de résiliation pour la première échéance contractuelle du 14 mars 2013, déclarant qu'ils n'entendaient pas renouveler le bail.
A.b. Le 5 novembre 2009, le locataire a contesté le congé en saisissant la Commission genevoise de conciliation en matière de baux et loyers. A la demande du locataire, les bailleurs ont expliqué par courrier du 23 décembre 2009 que le congé était motivé par la volonté de reprendre les locaux pour leur propre usage. Le 22 juin 2010, l'autorité de conciliation a annulé le congé.
A.c. Le 16 juillet 2010, les bailleurs ont déposé une demande devant le Tribunal des baux et loyers en l'invitant à constater la validité du congé. Dans le cadre de la procédure, ils ont expliqué qu'ils souhaitaient aménager une agence immobilière dans les locaux abritant le locataire, qui seraient utilisés comme réception, tandis que des bureaux seraient installés au 1er étage de l'immeuble. Ils ont précisé avoir résilié le bail de l'appartement concerné au 1er étage et avoir trouvé un accord avec la personne concernée, dont le départ était prévu pour le 31 août 2013. Le locataire a notamment objecté qu'une modification de l'affectation des locaux ne paraissait pas envisageable, compte tenu du règlement relatif au plan d'utilisation du sol de la Ville de Genève (RPUS - LC 21 211, entré en vigueur le 18 mars 2008).
L'art. 9 RPUS a la teneur suivante:
" Les surfaces au rez-de-chaussée, lorsqu'elles donnent sur des lieux de passage ouverts au public, doivent être affectées ou rester affectées, pour la nette majorité de chaque surface, à des activités accessibles au public en matière de commerce, d'artisanat ou d'équipements sociaux ou culturels à l'exclusion des locaux fermés au public." (al. 1)
(...)
"Par locaux fermés au public, on entend des locaux inoccupés par des personnes ou occupés essentiellement par des travailleurs de l'entreprise ou accessibles à une clientèle reçue dans des conditions de confidentialité, notamment cabinets médicaux, bureau d'avocats, notaires, fiduciaires, experts-comptables, agents immobiliers, etc. " (al. 3).
Par jugement du 14 décembre 2011, le Tribunal des baux a annulé le congé notifié le 5 octobre 2009 pour le 14 mars 2013. Il a constaté que la réalité du motif invoqué pour justifier le congé n'avait pas été établie à satisfaction de droit. Le projet d'installer une agence immobilière ne présentait aucune réalité tangible. Par ailleurs, il était possible que les bailleurs, par l'intermédiaire d'une de leurs sociétés, cherchent à reprendre l'exploitation de l'établissement et à profiter ainsi de la clientèle fidélisée par le locataire; un tel motif n'était pas digne de protection.
A.d. Les bailleurs ont formé appel auprès de la Chambre des baux et loyers de la Cour de justice genevoise. Celle-ci, par arrêt du 5 novembre 2012, a confirmé l'annulation du congé. La Chambre a relevé qu'au regard de l'art. 9 RPUS, il existait une probabilité non négligeable que l'autorisation de transformer les locaux en agence immobilière soit refusée. En notifiant le congé en dépit de cette incertitude, et en se dispensant d'entamer les démarches administratives qui auraient cas échéant permis de la lever, les bailleurs avaient agi de manière contraire à la bonne foi. De surcroît, il planait un doute non négligeable quant à la réalité du motif allégué: outre qu'ils n'avaient effectué aucune autre démarche concrète, telle la réalisation de plans d'architecte portant sur la réunion des locaux loués par le locataire avec ceux du 1er étage, les bailleurs étaient les associés gérants d'une société active notamment dans la restauration.
A.e. La cour de céans a été saisie d'un recours en matière civile interjeté par les bailleurs. Dans un arrêt du 30 avril 2013 (4A_726/2012), elle a fait les considérations suivantes: pour retenir un congé abusif, il ne suffit pas de constater que le changement d'affectation des locaux risque selon une probabilité non négligeable d'être refusé par les autorités administratives. En réalité, le problème se pose de la façon suivante:
- soit le motif de congé invoqué est bien réel, auquel cas le locataire doit rapporter la preuve que le projet d'aménager une agence immobilière se heurtera de façon certaine au refus des autorités administratives. S'il échoue dans cette preuve, le congé doit être considéré comme conforme à la bonne foi;
- soit le motif invoqué n'est qu'un prétexte, ce qui appelle en principe la conclusion que le congé est abusif. Un pronostic défavorable quant à la faisabilité du projet peut être l'un des indices que le motif invoqué n'est qu'un prétexte.
En conséquence, la cour de céans a annulé l'arrêt et renvoyé la cause à la Cour de justice genevoise.
B.
A nouveau saisie du dossier, la cour cantonale a invité les parties à se déterminer, ce qu'elles ont fait en déposant des écritures le 14 juin 2013. Statuant par arrêt du 30 août 2013, la cour a derechef confirmé la décision du Tribunal des baux prononçant l'annulation du congé.
La cour a fait les considérations suivantes: les bailleurs sont actifs dans le domaine immobilier, au travers de leurs trois entreprises qu'ils ont domiciliées à leur adresse privée. A une période au moins, ils ont bénéficié de l'aide de deux employées exerçant essentiellement sur le terrain, sans bureaux spécialement aménagés pour elles au domicile des bailleurs. Ceux-ci n'ont pas établi que le volume de leur activité immobilière nécessitait désormais des locaux distincts de leur appartement et impliquait de créer une agence dans l'arcade du locataire et dans l'appartement de l'étage supérieur. Ils n'ont pas allégué que l'absence de visibilité et de locaux ouverts au public aurait nui à la bonne marche de leurs affaires. Ils n'ont entamé aucune démarche en vue de la réunion future des locaux, respectivement en vue d'obtenir une autorisation de modifier l'affectation du bar en agence immobilière. A cet égard, un pronostic défavorable doit être fait quant à l'obtention de cette autorisation, compte tenu de l'art. 9 RPUS. A cela s'ajoute une contradiction dans les explications fournies par les bailleurs d'une part, et leur ancien partenaire d'autre part: ce dernier, coacquéreur de l'immeuble en juillet 2008, a expliqué qu'il était question de créer ensemble une agence immobilière en ces lieux, mais qu'il s'était retiré pour créer sa propre agence en constatant que le projet était plus compliqué que prévu; le bailleur H.X._ a pour sa part affirmé que l'idée du projet n'était née qu'après l'été 2009, alors qu'il était déjà question de racheter la part de leur partenaire. Enfin, l'une des trois entreprises exploitées par les bailleurs est active dans la restauration, de sorte que l'on ne saurait exclure que les bailleurs envisagent de récupérer les locaux pour reprendre le fonds de commerce du locataire, sans bourse délier.
La cour a conclu que le locataire avait apporté suffisamment d'indices que le motif invoqué à l'appui du congé n'était qu'un pur prétexte, indices que les bailleurs n'avaient nullement infirmés. Elle a retenu en droit que le congé contrevenait aux règles de la bonne foi (<ref-law>) et devait être annulé.
C.
Les bailleurs saisissent le Tribunal fédéral d'un recours en matière civile, dans lequel ils concluent à ce que soit déclarée valable la résiliation signifiée le 5 octobre 2009 pour le 14 mars 2013 et à ce qu'aucune prolongation de bail ne soit accordée. Le locataire conclut principalement au rejet du recours, subsidiairement à une prolongation de bail de six ans. A l'appui de sa réponse, il produit des pièces nouvelles. L'autorité précédente se réfère à son arrêt.

Considérant en droit:
1.
Le Tribunal fédéral est lié par les faits retenus dans l'arrêt attaqué (<ref-law>). Il ne peut s'en écarter que s'ils ont été établis en violation du droit ou de façon manifestement inexacte - c'est-à-dire arbitraire, ce qu'il incombe en principe au recourant de dénoncer (cf. <ref-law>; <ref-ruling> consid. 6.2). Dans la mesure où il invoque l'arbitraire au sens de l'art. 9 Cst., le recourant doit satisfaire aux exigences de motivation plus strictes découlant de l'<ref-law>; il doit alors expliquer de manière claire et circonstanciée, si possible documentée, en quoi consiste la violation du droit constitutionnel invoqué (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.4.2 et 1.4.3).
Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Sont visés par cette exception les faits qui sont rendus pertinents pour la première fois par la décision attaquée. Peuvent notamment être introduits des faits nouveaux concernant le déroulement de la procédure devant l'instance précédente, afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours. En dehors de ces cas, les novas ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée, ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 4.4.3).
Au vu de ce qui précède, il n'y a pas à tenir compte des versions divergentes présentées par l'une et l'autre partie; est toutefois réservé le grief d'arbitraire soulevé par les recourants. Quant aux pièces nouvelles produites par le locataire, elles ne sont pas recevables, l'intéressé ne cherchant nullement à démontrer en quoi l'exception réservée à l'art. 99 al. 1 in fine LTF serait réalisée (cf. <ref-ruling> consid. 3).
2.
2.1. Le congé est annulable lorsqu'il contrevient aux règles de la bonne foi (<ref-law>). Pour résoudre cette question de droit, il faut connaître le motif réel de la résiliation, question qui relève du fait (<ref-ruling> consid. 2 p. 192). Selon la jurisprudence, est contraire à la bonne foi le congé qui ne répond à aucun intérêt objectif, sérieux et digne de protection, qui est purement chicanier ou qui est fondé sur un motif ne constituant manifestement qu'un prétexte (<ref-ruling> ibidem; <ref-ruling> consid. 4.1. p. 119). Si le bailleur fournit un faux motif à l'appui de la résiliation alors qu'il n'est pas possible d'établir le motif réel, il faut en déduire que le congé ne repose sur aucun motif sérieux, ou du moins aucun motif légitime et avouable, ce qui justifie son annulation (<ref-ruling> consid. 2.1 p. 62; arrêt 4A_241/2010 du 10 août 2010 consid. 2.3, in SJ 2011 I 69).
2.2. En l'occurrence, les bailleurs ont justifié le congé par le souhait d'installer une agence immobilière dans les locaux utilisés par le locataire. Le volume de leur activité, qu'ils exerçaient jusqu'alors dans leur propre logement, nécessitait selon eux d'emménager dans les locaux litigieux et au 1er étage de leur immeuble.
La cour cantonale a constaté que ce motif n'est qu'un prétexte, en se fondant sur une série d'arguments qui ont été exposés ci-dessus (let. B). Il s'agit-là d'une constatation de fait, que l'autorité de céans revoit uniquement sous l'angle de l'arbitraire. Or, les recourants ne s'attachent pas à démontrer en quoi l'appréciation des preuves serait arbitraire. Ils se contentent de présenter de façon appellatoire leur propre analyse et leur propre version des faits, en se référant à des procès-verbaux d'audition dont ils citent parfois des extraits. Un tel procédé ne satisfait pas aux exigences de motivation découlant de l'<ref-law>. L'on relève par exemple qu'ils se bornent à affirmer que leur activité a pris de l'ampleur, sans chercher à démontrer que la cour cantonale aurait arbitrairement constaté l'absence de preuve à ce sujet. Alors que la Cour de justice émet un pronostic défavorable quant aux chances d'obtenir un changement d'affectation des locaux, les recourants ne dénoncent pas une interprétation arbitraire de l'art. 9 RPUS, et cherchent encore moins à la démontrer. Concernant l'absence de démarche pour les travaux qu'impliquerait leur prétendu projet, ils soulignent qu'à l'instar de l'arrêt 4A_126/2012, l'on ne saurait exiger d'un bailleur qu'il sollicite des devis précis pour d'importantes rénovations alors qu'il ignore, en raison de la contestation du congé, si et quand pourront être effectués les travaux. Les recourants méconnaissent toutefois le fait que dans l'affaire en question, d'autres indices permettaient de retenir sans arbitraire une intention réelle d'effectuer des travaux importants.
2.3. Faute de motivation conforme aux exigences de l'<ref-law>, il faut s'en tenir à la constatation selon laquelle le motif du congé invoqué par les bailleurs n'est qu'un prétexte. Le motif réel de la résiliation n'est pas établi. En conséquence, il est conforme à l'<ref-law> de déclarer le congé annulable. Les recourants ne disent pas le contraire. Ils dénoncent une violation de cette disposition, mais le grief est exclusivement lié à leur critique irrecevable de l'état de fait.
3.
Les recourants, qui succombent, supporteront solidairement les frais et dépens de la présente procédure (art. 66 al. 1 et 5, art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Les recourants sont condamnés solidairement à verser à l'intimé une indemnité de 5'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 26 février 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti