Faits :
A.
A.a. A.A._ et B.A._ sont locataires depuis mai 1999 d'un appartement de quatre pièces dans un immeuble situé à la rue Z._ n° xxx à Genève. Ils occupaient déjà ce logement depuis 1985 en qualité de propriétaires, avant de le vendre en raison de la faillite subie par l'entreprise du prénommé. Le bail était conclu jusqu'au 31 mai 2000, mais pouvait ensuite être renouvelé tacitement d'année en année, conformément aux règles et usages locatifs faisant partie intégrante du contrat. Le loyer a été fixé à 1'920 fr. par mois charges comprises, soit 23'040 fr. par an.
Le 25 février 2008, le bailleur d'alors a résilié le contrat pour le 31 mai 2008. Après que l'autorité de conciliation eut prononcé l'annulation du congé le 5 décembre 2008, le bailleur a déposé tardivement une demande devant le Tribunal des baux et loyers du canton de Genève; il l'a ensuite retirée par courrier du 5 mars 2009. La cause a été rayée du rôle selon un avis non daté du tribunal, qui a semble-t-il été reçu par l'une des parties à tout le moins le 10 mars 2009.
A.b. Le 18 juin 2009, B._ a acheté l'appartement occupé par les locataires. Il était déjà propriétaire depuis 2006 d'un appartement de quatre pièces et demie dans un immeuble situé dans la même rue, au numéro yyy.
Le nouveau bailleur travaille depuis le 11 octobre 2010 pour le Comité international de la Croix-Rouge (CICR), en mission au Brésil en qualité de médecin délégué depuis le 12 décembre 2011. Sa mission devait initialement prendre fin le 13 octobre 2012. Il bénéficie d'un contrat à durée indéterminée.
Par avis officiel du 3 février 2012 notifié sous pli séparé à chacun des locataires, le bailleur a résilié le contrat pour le 31 mai 2012. Il a motivé le congé sur demande du conseil des locataires, en invoquant le fait que sa mission humanitaire au Brésil arrivait à son terme dans le courant de l'année 2012 et qu'il voulait s'installer à Genève dans le logement occupé par les locataires.
Le 3 avril 2012, le délégué régional du CICR au Brésil a confirmé que la mission du bailleur dans ce pays devait être prolongée jusqu'au 31 décembre 2013; cette prolongation n'était pas prévue initialement, ni prévisible.
B.
B.a. Les locataires ont contesté judiciairement le congé. Par demande du 25 juillet 2012, ils ont conclu à son annulation, subsidiairement à une prolongation de bail échéant le 31 mai 2016. En cours de procédure, le Tribunal des baux et loyers a notamment entendu le bailleur, son ex-épouse et leur fille.
A l'audience du 5 novembre 2012, le bailleur a expliqué qu'au moment où il avait acheté l'appartement occupé par les locataires, il vivait à la rue Z._ n° yyy dans un logement lui appartenant, qui comprend un salon, une belle chambre et une petite chambre utilisée comme remise. Il savait alors qu'il allait retravailler pour le CICR, partir en mission à l'étranger puis revenir à Genève. Il avait acquis un nouvel appartement dans l'optique de pouvoir en disposer à terme pour lui-même et laisser celui de la rue Z._ n° yyy à sa fille, qui y vivait actuellement; le compagnon de celle-ci vivait à l'étranger mais séjournait chez elle lorsqu'il se trouvait en Suisse.
Dans sa procédure, le bailleur a allégué qu'il était parti au Brésil en octobre 2010.
La fille du bailleur, née en 1991, a déclaré à l'audience du 5 novembre 2012 qu'elle était étudiante en deuxième année à l'Université de Genève. Ses études devaient durer encore cinq ans, après quoi elle comptait rester dans l'appartement.
Entendue le 13 janvier 2014, l'ex-épouse du bailleur a précisé que celui-ci habitait seul au yyy de la rue Z._ jusqu'à son départ au Brésil; il y accueillait leurs enfants les week-ends et un soir par semaine. Leur fille était venue y habiter en octobre 2010, au début de ses études en relations internationales à Genève; à terme, il était prévu qu'elle y vive avec son ami. Le bailleur, après avoir voyagé toute sa vie, projetait de s'établir définitivement en Suisse pour être plus proche de leurs enfants. Une cohabitation entre le père et la fille apparaissait peu appropriée; au demeurant, la surface de l'appartement était trop petite.
B.b. Dans une première décision du 22 février 2013, le Tribunal des baux a jugé que le congé était valable, ayant été notifié après la protection de trois ans conférée par l'art. 271a al. 1 let. e CO. Le 30 août 2013, la Cour de justice a annulé ce jugement; considérant que le congé avait été donné pendant la période de protection, la Cour s'estimait insuffisamment renseignée pour statuer sur l'existence d'un éventuel "besoin urgent" du bailleur au sens de l'<ref-law>. En conséquence, elle a renvoyé la cause à l'autorité de première instance.
B.c. Dans un nouveau jugement du 24 mars 2014, le Tribunal des baux a retenu un besoin urgent du bailleur. Il a déclaré valable le congé notifié pour le 31 mai 2012 et accordé aux locataires une unique prolongation au 31 mai 2014.
Statuant le 8 décembre 2014 sur appel des locataires, la Cour de justice a confirmé la validité du congé; considérant toutefois que la situation s'était modifiée après la notification du congé et que l'on ignorait à quelle date le bailleur pourrait fermer la mission au Brésil et rentrer en Suisse, elle a octroyé une première prolongation de bail jusqu'au 31 mai 2015, en autorisant les locataires à restituer les locaux en tout temps moyennant un préavis de quinze jours "pour le quinze ou la fin d'un mois".
B.d. Devant les instances cantonales, les locataires ont été représentés par l'ASLOCA.
C.
Les locataires, sans l'assistance d'un avocat, saisissent le Tribunal fédéral d'un recours en matière civile dans lequel ils concluent à l'annulation du congé. Le bailleur conclut au rejet du recours. L'autorité précédente se réfère à son arrêt.

Considérant en droit :
1.
La valeur litigieuse minimale de 15'000 fr. requise pour les affaires de bail à loyer est dépassée, compte tenu du loyer annuel de 23'040 fr. et de la période minimale de trois ans pendant laquelle le contrat devra subsister si le congé est annulé (<ref-law>; <ref-ruling> consid. 1.1). La voie du recours en matière civile est donc ouverte.
2.
2.1. Les locataires dénoncent une violation de l'<ref-law>, contestant que le bailleur ait un "besoin urgent" d'utiliser les locaux. La Cour de justice aurait examiné cette exigence en se plaçant indûment en décembre 2014 plutôt qu'en février 2012, au moment où le congé a été signifié. En conséquence, la Cour aurait à tort tiré argument du fait que la fille du bailleur avait acquis une indépendance à laquelle il lui serait difficile de renoncer; en réalité, elle vivait seule depuis deux mois lorsque le congé a été donné. Le bailleur chercherait à éviter une situation de cohabitation qui était pourtant la sienne avant son départ au Brésil. Aucune urgence temporelle ne pourrait être retenue, ce qui ressortirait des déclarations mêmes du bailleur, selon lesquelles il voulait récupérer "à terme" l'appartement litigieux. De surcroît, le congé consacrerait une disproportion manifeste des intérêts en présence: la cohabitation du bailleur avec sa fille dans un appartement de quatre pièces et demie ne représenterait qu'un léger inconvénient tandis que les locataires, qui occupent ce logement depuis 1985, se trouveraient placés dans une situation inextricable compte tenu de leurs faibles revenus.
Le bailleur objecte qu'il est parti au Brésil non pas en décembre 2011 mais en octobre 2010, comme il l'a répété tout au long de la procédure; il n'aurait donc jamais cohabité avec sa fille. De surcroît, le congé aurait été donné en dehors de la période de protection de l'art. 271a al. 1 let. e CO.
2.2. Le congé est annulable lorsqu'il est donné par le bailleur dans les trois ans à compter de la fin d'une procédure de conciliation ou d'une procédure judiciaire au sujet du bail, et que le bailleur a succombé dans une large mesure ou a renoncé à saisir le juge (art. 271a al. 1 let. e ch. 1 et 3 CO). Le législateur permet au bailleur de renverser la présomption d'abus instituée par cette disposition en démontrant que le congé a été donné en raison du besoin urgent que le bailleur ou ses proches parents ou alliés peuvent avoir d'utiliser eux-mêmes les locaux (<ref-law>).
Dans son premier arrêt du 30 août 2013, la Cour de justice a jugé que le congé donné le 3 février 2012 était intervenu pendant la protection de trois ans conférée par la loi. Contrairement à ce que pensait le Tribunal des baux, il importait peu qu'en 2009, l'ancien bailleur ait déposé une demande tardive pour contester l'annulation du précédent congé par l'autorité de conciliation; en agissant ainsi, le bailleur avait fait perdurer la procédure. Pour le surplus, il n'était pas contesté que celui-ci avait pleinement succombé tant sur le fond que sur la recevabilité.
Cette analyse est conforme à l'art. 271a al. 1 let. e CO. Le bailleur de l'époque a effectivement prolongé la procédure en saisissant même tardivement le Tribunal des baux et a retardé d'autant le départ du délai de protection de trois ans. Celui-ci n'a pu commencer à courir que lorsque le tribunal a rayé la cause du rôle, au début du mois de mars 2009. Le délai triennal n'était donc pas encore échu lorsque le nouveau bailleur a signifié un congé le 3 février 2012. Contrairement à ce qu'il plaide, le bailleur ne peut échapper à l'exigence d'établir un besoin urgent des locaux.
2.3. Selon la jurisprudence du Tribunal fédéral, qui s'est appuyé sur les travaux législatifs, le besoin urgent ne présuppose pas une situation de contrainte, voire un état de nécessité; il suffit que, pour des motifs économiques ou d'autres raisons, on ne puisse raisonnablement exiger du bailleur qu'il renonce à l'usage de l'objet loué. Le besoin doit être immédiat, concret et actuel. L'exigence de l'urgence contient non seulement un aspect temporel, mais aussi une composante matérielle; les motifs du bailleur doivent objectivement revêtir une certaine importance. Tel n'est pas le cas lorsque le bailleur cherche simplement à obtenir un appartement doté d'un meilleur ensoleillement ou d'une meilleure vue (<ref-ruling> consid. 3c et d; <ref-ruling> consid. 3.4.3). Le besoin urgent du bailleur peut justifier la résiliation anticipée du bail sans pour autant exclure une prolongation de celui-ci (cf. art. 272 al. 2 let. d CO; <ref-ruling> consid. 4 p. 58; arrêt 4A_447/2013 du 20 novembre 2013 consid. 4.1, in Praxis 2014 660).
La validité d'un congé s'apprécie en fonction des circonstances présentes au moment où le cocontractant manifeste sa volonté de résilier le bail (arrêt 4A_569/2013 du 24 mars 2014 consid. 2.4; <ref-ruling> consid. 2.1 in fine p. 62).
Le bailleur doit prouver l'existence d'un besoin urgent. Déterminer si un tel besoin peut être retenu au regard des circonstances concrètes relève du pouvoir d'appréciation du juge. Le Tribunal fédéral fait preuve de réserve lorsqu'il contrôle l'exercice de ce pouvoir. Il intervient uniquement lorsque la décision cantonale s'écarte sans raison des règles établies par la doctrine et la jurisprudence, s'appuie sur des faits non pertinents ou néglige des faits pertinents, ou encore lorsqu'elle consacre une solution manifestement inéquitable ( <ref-ruling> consid. 4 p. 55 s.).
Le Tribunal fédéral a confirmé l'existence d'un besoin urgent dans les cas suivants:
- la fille du bailleur, tout juste majeure, s'apprêtait à débuter un apprentissage; l'appartement concerné se situait près de son lieu de travail et à proximité immédiate du bailleur et des grands-parents de la jeune fille, qui avait vécu des événements perturbants auprès de sa mère. Il importait peu qu'un autre appartement dans l'immeuble ait été récemment attribué à un nouveau locataire, car le bailleur n'avait pas la jouissance de ce logement, selon la convention de répartition conclue avec les autres copropriétaires (arrêt 4C.388/2005 du 20 février 2006 consid. 2.3).
- Le bailleur voulait permettre à sa fille, qui venait d'achever ses études universitaires, de quitter le domicile parental pour s'installer avec son compagnon. S'il était avéré, ce motif allégué par le bailleur devait l'emporter sur l'intérêt du locataire à continuer d'occuper l'appartement pris à bail (arrêt 4C.17/2006 du 27 mars 2006 consid. 3.4.1, trad. in MRA 2006 65; cf. aussi arrêt 4C.400/2001 du 4 mars 2002 consid. 3b et c, in Praxis 2002 635).
- Le bailleur et son épouse voulaient couper tout lien avec le commerce de boucherie qu'ils venaient de remettre à un successeur; en conséquence, ils avaient cédé en location à celui-ci le grand appartement situé au-dessus du commerce. A titre de solution provisoire, les bailleurs disposaient certes d'un logement, mais celui-ci se trouvait aussi dans l'immeuble abritant le commerce dont ils voulaient s'éloigner, comportait deux fois moins de pièces que leur ancien appartement et leur occasionnait des frais d'entreposage pour leurs meubles (arrêt 4A_363/2009 du 23 septembre 2009 consid. 1.2 et 1.3).
2.4. Au moment où il a signifié le congé pour le 31 mai 2012, le bailleur devait terminer sa mission au Brésil le 13 octobre 2012. Les locataires ne contestent pas son intention déclarée de revenir à Genève et d'y rester durablement. Sous l'angle de la validité du congé, il importe peu que la mission à l'étranger ait été prolongée après la notification du congé. L'autorité précédente a tenu compte à juste titre de ce changement de circonstances en octroyant une prolongation de bail.
En appel et devant l'autorité de céans, le débat porte sur le point de savoir si l'on peut exiger du bailleur qu'il vive dans l'autre appartement qu'il détient au n° yyy de la rue Z._, et qui est habité depuis octobre 2010 par sa fille. Les locataires plaident que le bailleur y a cohabité pendant un an avec sa fille avant de partir au Brésil, et que la reprise de ces modalités quelques mois après ce départ (i.e. en octobre 2012) ne constitue pas un cas d'urgence. La Cour de justice a écarté cet argument en soulignant que la fille du bailleur, âgée de 23 ans, avait acquis dans l'intervalle une certaine indépendance à laquelle il lui serait pénible de renoncer; la difficulté serait d'autant plus grande qu'elle avait formé le projet de vivre avec son compagnon.
L'on peut donner acte aux recourants qu'il faut juger la validité du congé en se plaçant au moment où il a été donné, et qu'il n'est en soi pas possible de tirer argument du fait que la fille du bailleur s'est habituée à être indépendante en décembre 2014, date à laquelle la Cour de justice a statué. La Cour a semble-t-il maintenu que le départ au Brésil datait de décembre 2011, sans s'expliquer sur les motifs qui l'ont conduite à rejeter le moyen soulevé en appel par le bailleur.
Quoi qu'il en soit, l'on ne saurait attribuer une importance décisive au point de savoir si le bailleur a ou non cohabité pendant un an avec sa fille avant de partir au Brésil. Même si ce fait est exact, les locataires ne sauraient tirer profit de ce que le bailleur a supporté provisoirement une telle situation en sachant qu'il allait partir en mission à l'étranger, mais avec l'intention de revenir séjourner durablement en Suisse et habiter à terme dans l'appartement acheté en 2009 pour son propre usage. Les locataires ne remettent pas en cause la réalité des intentions du bailleur telles qu'elles ressortent des explications données en audience. Ils se contentent de souligner que l'intéressé lui-même a admis n'avoir besoin de cet appartement qu'"à terme", ce qui exclurait l'urgence; ce faisant, ils méconnaissent que le bailleur parlait de ses intentions lorsqu'il a acheté l'appartement en juin 2009. Dans les circonstances d'espèce, la volonté du bailleur de disposer d'un logement propre à son retour en Suisse est légitime; elle n'est en rien comparable à l'exemple cité par la jurisprudence, où le bailleur chercherait à récupérer un appartement pour bénéficier d'un meilleur ensoleillement ou d'une meilleure vue. Les règles de protection des locataires ne sauraient aboutir à ce que le bailleur doive chasser sa fille ou supporter une cohabitation dans un espace restreint n'offrant qu'une grande chambre et une petite chambre servant de remise; une cohabitation père-fille n'est naturellement pas comparable avec celle d'un couple. Les exemples jurisprudentiels évoqués ci-dessus démontrent que le bailleur n'a pas à justifier d'une situation particulièrement contraignante, et que toute solution alternative n'exclut pas nécessairement le besoin urgent du bailleur.
Il est vrai que d'aucuns reprochent à l'autorité de céans d'avoir une conception trop large de l'urgence ( ROGER WEBER, in Basler Kommentar, 5e éd. 2011, n° 28 ad art. 271/271a CO); mais la cour de céans s'est fondée sur les travaux législatifs et a tenu compte du fait qu'un besoin urgent des locaux n'exclut pas l'octroi d'une prolongation. Or, ce dernier élément conduit nécessairement à relativiser la notion d'urgence.
Dans la mesure où le besoin urgent du bailleur est avéré, il l'emporte sur l'intérêt des locataires à rester dans les locaux. L'autorité précédente n'a pas enfreint le droit fédéral en tenant compte de cet intérêt au moment d'examiner la question de la prolongation du bail (ATF <ref-ruling> consid. 3.4.3) - qui a en l'occurrence été accordée, à la satisfaction des locataires qui ne remettent pas en cause cet aspect de la décision attaquée.
2.5. En bref, l'autorité précédente n'a pas abusé de son pouvoir d'appréciation en considérant que le bailleur avait un besoin urgent, au sens de l'<ref-law>, d'utiliser les locaux occupés par les locataires.
3.
Au vu de ce qui précède, le recours doit être rejeté. Par conséquent, les recourants, en qualité de débiteurs solidaires, supporteront les frais de la présente procédure et verseront une indemnité de dépens au bailleur intimé (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Les recourants sont condamnés solidairement à payer à l'intimé une indemnité de 3'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 9 juin 2015
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
La Greffière : Monti