Faits :
A.
A._, né en 1986, a été licencié pour le 7 août 2007 par l'entreprise B._ SA, où il avait été engagé à l'essai en tant qu'aide-serrurier. Depuis le 1er juin 2007, le prénommé travaillait également en qualité de nettoyeur à temps partiel (10 heures par semaine) au service de l'entreprise C._ SA. A ce titre, il était assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 31 août 2007, A._ a été victime d'un accident de la circulation sur une autoroute en Espagne alors qu'il rentrait d'un voyage en compagnie de son amie et des parents de celle-ci, et occupait le siège du passager arrière gauche. Il a subi un traumatisme cranio-cérébral (TCC), des contusions multiples, une plaie au cuir chevelu avec perte de substance au niveau pariétal gauche, ainsi qu'une contusion pulmonaire.
Selon le rapport de la police espagnole, aucun autre véhicule n'était impliqué dans l'accident. Le conducteur, probablement assoupi, a perdu le contrôle de son véhicule, lequel a dévié vers le bord gauche de la chaussée. Ayant repris ses esprits, le conducteur a brusquement braqué le volant à droite pour corriger la perte de contrôle, puis à nouveau à gauche. Franchissant la berme centrale, le véhicule s'est retourné et a effectué plusieurs tonneaux avant de s'immobiliser sur le toit sur le bord droit de la voie de circulation opposée. Le conducteur est décédé sur place. L'amie, qui occupait le siège passager arrière droit, a été éjectée du véhicule malgré le port de la ceinture et est devenue paraplégique à la suite de cet accident.
La CNA a pris en charge le cas. Rapatrié en Suisse, A._ s'est rendu à quelques consultations à l'hôpital D._, où il s'est plaint de cervico-dorsalgies et de céphalées induites par les bruits aigus. L'assuré a repris son travail de nettoyeur du 8 octobre au 30 octobre 2007, date à laquelle son médecin traitant, le docteur E._, lui a prescrit une incapacité de travail en raison de l'environnement bruyant. Le 25 février 2008, A._ a retrouvé un travail à plein temps comme vendeur dans la société F._.
Dès le 9 décembre 2008, le prénommé a été mis en arrêt de travail en raison d'une aggravation de ses troubles (céphalées, fatigue). Le 11 mai 2009, il a présenté une demande de prestations de l'assurance-invalidité (AI). Dans le même temps, A._ a été examiné par le médecin d'arrondissement de la CNA, le docteur G._, ainsi que par plusieurs autres médecins de diverses spécialisations (neurologie, chirurgie plastique et reconstructive, oto-neurologie; voir les rapports respectifs des docteurs H._, I._, J._ et K._).
Sur la base des renseignements médicaux recueillis, la CNA a rendu le 5 octobre 2009 une décision par laquelle elle a refusé d'allouer des prestations pour les troubles annoncés à partir du 9 décembre 2008, considérant qu'il n'y avait pas de lien de causalité entre ceux-ci et l'accident du 31 août 2007. Elle a toutefois accepté de verser à l'assuré des indemnités journalières, à bien plaire, du 7 octobre 2007 au 24 février 2008. Ce dernier a formé opposition en requérant des investigations complémentaires.
Le 19 avril 2010, le docteur G._ a réexaminé l'assuré. La copie d'une expertise des docteurs L._ et M._, mise en oeuvre par l'Office AI pour le canton de Vaud, a été transmise à la CNA. Selon cette expertise du 12 mars 2010, l'assuré ne présentait aucune séquelle neurologique ou neuropsychologique objective à la suite du TCC, mais une exacerbation de la sensibilité aux bruits subjective; sur le plan psychique, le docteur M._ a posé les diagnostics de trouble dépressif récurrent, épisode actuel léger (F33.00) et difficultés liées au rôle social (Z60.0); l'assuré n'était pas limité dans sa capacité de travail. A la demande de la CNA, le docteur K._ a effectué un nouveau contrôle audiologique à l'issue duquel il n'a pas non plus retenu d'incapacité de travail sur le plan ORL, sauf à éviter une activité en milieu bruyant (rapport du 10 septembre 2010). Convoqué à plusieurs reprises pour un examen final par le médecin d'arrondissement de la CNA, l'assuré, qui s'était entre-temps installé à l'étranger, n'y a pas donné suite. Après avoir demandé à son psychiatre conseil, le docteur N._, de se prononcer sur le dossier, la CNA a informé l'assuré qu'elle allait confirmer sa décision. En réaction à cette lettre, A._ a transmis plusieurs documents émanant de ses médecins traitants. Finalement, il s'est rendu en Suisse et s'est soumis à un examen auprès du docteur O._, également psychiatre conseil de la CNA. Ce médecin a posé les diagnostics de syndrome douloureux somatoforme persistant (F45.4) et autres modifications durables de la personnalité (F62.8) en relation de causalité naturelle avec l'accident du 31 août 2007, et évalué l'atteinte à l'intégrité à 30 %; il a précisé ne pas pouvoir se prononcer sur la capacité de travail rétrospectivement, tout en affirmant qu'à l'heure actuelle, les expectatives étaient diminuées (rapport du 21 avril 2015).
Dans une nouvelle décision du 19 janvier 2017, la CNA a écarté l'opposition, motif pris que les plaintes résiduelles de l'assuré n'avaient pas de substrat objectivable et que les troubles psychiques constatés n'étaient pas en relation de causalité adéquate avec l'accident 31 août 2007.
B.
Statuant le 10 janvier 2018, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours de l'assuré en ce sens que la décision sur opposition du 19 janvier 2017 de la CNA est annulée, la cause lui étant renvoyée pour instruction complémentaire et nouvelle décision dans le sens des considérants.
C.
La CNA interjette un recours en matière de droit public, en concluant à l'annulation du jugement cantonal et à la confirmation de sa décision sur opposition du 19 janvier 2017.
A._ conclut au rejet du recours, tandis que la cour cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.

Considérant en droit :
1.
1.1. L'arrêt attaqué ne met pas un terme à la procédure et doit donc être qualifié de décision incidente. Une telle décision ne peut être attaquée qu'aux conditions de l'art. 93 LTF (<ref-ruling> consid. 3.1 p. 325; <ref-ruling> consid. 4.2 p. 482). Selon la jurisprudence, une autorité qui devrait, à la suite d'une décision de renvoi, rendre une nouvelle décision qui, de son point de vue, serait contraire au droit sans pouvoir par la suite la remettre en cause devant l'instance supérieure, est réputée subir un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF (cf. <ref-ruling> consid. 1.2 p. 332; <ref-ruling> précité consid. 5.2 p. 483).
Cette éventualité est réalisée en l'espèce. L'arrêt attaqué a un effet contraignant pour la recourante - qui a nié le droit aux prestations faute d'un lien de causalité adéquate - en ce sens qu'elle doit compléter l'instruction médicale par la réalisation d'une expertise psychiatrique destinée à confirmer ou infirmer les conclusions du docteur O._, tout en étant liée par le jugement de renvoi par lequel la cour cantonale a d'ores et déjà reconnu l'existence d'un tel lien de causalité adéquate. Le jugement cantonal peut donc être déféré immédiatement au Tribunal fédéral.
1.2. Pour le surplus, le recours est dirigé contre un arrêt rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si l'intimé peut prétendre des prestations de l'assurance-accidents pour les troubles qui ont entraîné une incapacité de travail dès le 9 décembre 2008.
Lorsque, comme ici, la procédure de recours concerne des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral dispose d'un pouvoir d'examen étendu en ce qui concerne les faits communs aux deux types de prestations (cf. par exemple arrêt 8C_595/2017 du 16 mai 2018 consid. 2.1).
3.
Le 1er janvier 2017 est entrée en vigueur la modification du 25 septembre 2015 de la LAA. Dans la mesure où l'événement litigieux est survenu avant cette date, le droit de l'intimé aux prestations d'assurance est soumis à l'ancien droit (cf. dispositions transitoires relatives à la modification du 25 septembre 2015).
Le jugement entrepris a correctement exposé les dispositions légales et les principes jurisprudentiels applicables. Il suffit par conséquent d'y renvoyer.
4.
La cour cantonale a tout d'abord constaté que les examens entrepris par la CNA permettaient d'écarter une cause organique aux troubles résiduels dont se plaignait l'assuré (céphalées, acouphènes et hyperacousie). En effet, les docteurs H._ et J._ avaient qualifié le status neurologique de normal. C'était également le cas du bilan audio-vestibulaire pratiqué tant en 2007 qu'en 2010 par le docteur K._, qui rapportait même une amélioration de la situation lors de sa dernière consultation selon les propres dires de l'assuré. Bien que ces appréciations soient anciennes, les pièces médicales plus récentes des médecins français n'apportaient rien de nouveau ni ne contredisaient les constatations effectuées par leurs confrères auparavant. Passant ensuite en revue les rapports d'examen psychiatrique au dossier, la cour cantonale a relevé que le diagnostic de trouble dépressif récurrent retenu en 2010 par le docteur M._ était contesté par le docteur N._, de la CNA, et qu'il n'était plus d'actualité selon le docteur O._, également de la CNA, lequel concluait, en 2015, à un syndrome douloureux somatoforme persistant et autres modifications durables de la personnalité.
Ceci posé et rappelant que la jurisprudence admet de laisser ouverte la question du rapport de causalité naturelle dans les cas où ce lien de causalité ne peut de toute façon pas être qualifié d'adéquat (<ref-ruling> consid. 5.1 p. 472), la cour cantonale a entrepris d'examiner en premier lieu le lien de causalité adéquate. En l'absence de substrat objectivable aux troubles, elle a fait application de la jurisprudence en matière de troubles psychiques consécutifs à un événement accidentel (<ref-ruling>), et classé l'accident du 31 août 2007 à la limite supérieure des accidents de gravité moyenne. A cet égard, elle a relevé qu'il s'agissait d'une perte de maîtrise sur l'autoroute en raison d'un assoupissement du conducteur suivie d'une sortie de route du véhicule qui a effectué plusieurs tonneaux, que la police n'avait relevé aucune trace de freinage, et que le choc de la voiture contre la berme centrale avait dû être d'une violence particulière puisque l'amie de l'assuré avait été éjectée malgré le fait qu'elle portait sa ceinture de sécurité. En ce qui concerne les critères déterminants consacrés par la jurisprudence, la cour cantonale a admis celui du caractère particulièrement impressionnant de l'accident. En outre, les circonstances concomitantes de cet événement avaient été particulièrement dramatiques dans la mesure où celui-ci avait causé le décès du conducteur et rendu l'amie de l'assuré paraplégique. Cela suffisait, toujours selon la cour cantonale, pour reconnaître un rapport de causalité adéquate.
Dans un considérant final, l'instance cantonale est revenue sur le rapport du docteur O._. Le Tribunal fédéral avait revu et modifié en profondeur le schéma d'évaluation de la capacité de travail, respectivement de l'incapacité de travail, en cas de syndrome douloureux somatoforme et d'affections psychosomatiques comparables (<ref-ruling>). Or le rapport du psychiatre précité ne permettait pas une appréciation de l'état de santé de l'assuré à la lumière des exigences relatives au diagnostic et des indicateurs déterminants développés par la nouvelle jurisprudence. Aussi bien, la cour cantonale a-t-elle considéré que l'instruction devait être complétée afin d'examiner la pertinence des diagnostics de trouble somatoforme douloureux et autres modifications durables de la personnalité, de confirmer la présence d'un lien de causalité naturelle entre l'accident du 31 août 2007 et ces atteintes, puis de déterminer les effets de celles-ci sur la capacité de travail de l'assuré au-delà du 9 décembre 2008.
5.
La recourante remet en cause la qualification de l'accident. Citant en exemple les arrêts 8C_996/2010 du 14 mars 2011 et 8C_363/2012 du 27 juin 2012, elle considère que l'accident subi par l'assuré doit être rangé dans la catégorie des accidents de gravité moyenne stricto sensu. Par ailleurs, elle estime que le critère du caractère particulièrement impressionnant de l'accident n'est pas donné car l'assuré dormait au moment de l'accident et avait présenté par la suite une amnésie circonstancielle de 36 heures. Il n'avait donc pas été confronté directement au décès du conducteur ni aux faits concernant la passagère assise à ses côtés.
6.
Il ressort de la motivation du jugement attaqué que des juges cantonaux considèrent l'évaluation psychiatrique réalisée par le docteur O._ comme incomplète (voire non convaincante), raison pour laquelle ils ont procédé au renvoi de la cause pour expertise psychiatrique afin de confirmer ou infirmer les diagnostics retenus et déterminer s'il y a une incapacité de travail d'origine psychique en lien de causalité naturelle avec l'accident depuis le 9 décembre 2008. En l'occurrence, si l'on peut partager les réserves qu'ils ont émises sur le caractère probant de cette évaluation qui est, il est vrai, insuffisamment étayée quant aux diagnostics énoncés et, en tout état de cause, incomplète pour trancher la question posée, on ne saurait pour autant confirmer leur jugement dans son entier.
La Cour de céans a déjà eu l'occasion de dire qu'il n'est pas admissible de reconnaître le caractère adéquat d'éventuels troubles psychiques d'un assuré avant que les questions de fait relatives à la nature de ces troubles (diagnostic, caractère invalidant) et à leur causalité naturelle avec l'accident en cause ne soient élucidées au moyen d'une expertise psychiatrique concluante (arrêt 8C_685/2015 du 13 septembre 2016 in SVR 2017 UV n° 4 p. 11). D'une part, un tel procédé est contraire à la logique du système. En effet, le droit à des prestations découlant d'un accident suppose tout d'abord, entre l'événement dommageable de caractère accidentel et l'atteinte à la santé, un lien de causalité naturelle. Ainsi, on ne peut retenir qu'un accident est propre, sous l'angle juridique, à provoquer des troubles psychiques éventuellement incapacitants sans disposer de renseignements médicaux fiables sur l'existence de tels troubles, leurs répercussions sur la capacité de travail et leur lien de causalité avec cet accident. Par contre, il est admissible de laisser ouverte la question du rapport de causalité naturelle dans les cas où ce lien de causalité ne peut de toute façon pas être qualifié d'adéquat dès lors que ces conditions doivent être cumulées pour l'octroi des prestations (<ref-ruling> consid. 5.1 p. 472). D'autre part, la reconnaissance préalable d'un lien de causalité adéquate est un élément de nature à influencer, consciemment ou non, le médecin psychiatre dans son appréciation du cas, et donc le résultat d'une expertise psychiatrique réalisée après coup s'en trouverait biaisé.
En l'occurrence, pour ces mêmes raisons, il est prématuré que la Cour de céans se prononce sur les griefs soulevés par la CNA. Un tel examen n'aurait de sens que si l'on pouvait d'emblée nier l'existence d'un rapport de causalité adéquate, ce qui n'est pas le cas en l'espèce. Sans préjuger de cette question, il convient donc d'annuler les chiffres I et II du dispositif du jugement cantonal qui renvoie aux considérants sur la question de la causalité adéquate. Une expertise psychiatrique dans le sens ordonné par l'autorité cantonale étant toutefois nécessaire comme on vient de le dire, la cause sera retournée à la CNA pour ce faire. En fonction du résultat de cette expertise, celle-ci se prononcera à nouveau sur le lien de causalité adéquate. Après quoi, elle rendra une nouvelle décision sur le droit aux prestations de l'intimé. En revanche, l'issue du litige n'a pas d'incidence sur la répartition des dépens de première instance (art. 67 et 68 al. 1 LTF) du moment qu'un renvoi pour expertise était justifié au stade de la procédure cantonale. Il n'y a donc pas lieu d'annuler le chiffre IV du dispositif y relatif.
Dans cette mesure, le recours se révèle bien fondé.
7.
Compte tenu de l'issue du litige, les frais de justice seront répartis par moitié entre la CNA et l'intimé (art. 66 al. 1 LTF). Par ailleurs, ce dernier a droit à une indemnité de dépens réduite (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Les chiffres I et II du dispositif de l'arrêt attaqué et la décision sur opposition 19 janvier 2017 sont annulés. La cause est renvoyée à la CNA pour qu'elle procède à une instruction complémentaire et rende une nouvelle décision concernant le droit aux prestations de l'intimé depuis le 9 décembre 2008. Pour le surplus, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis pour 400 fr. à la charge de la recourante et pour 400 fr. à la charge de l'intimé.
3.
La recourante versera à l'intimé la somme de 1'400 fr. à titre de dépens réduits pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties, à la Cour des assu-rances sociales du Tribunal cantonal vaudois et à l'Office fédéral de la santé publique.
Lucerne, le 12 mars 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Frésard
La Greffière : von Zwehl