Faits:
A.
A._, mécanicien de formation, travaillait pour l'entreprise de prêt de personnel F._ SA. À ce titre, il était assuré contre les accidents par la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 18 août 2008, en début d'après-midi, A._ a été agressé par un jeune homme dans un restaurant chinois où il était attablé en compagnie d'une amie. Il a déposé plainte pénale et une enquête de police a été ouverte dont il ressort les faits suivants. Lorsque, ce jour-là, A._ et une amie sont arrivés au restaurant, ils ont été insultés par B._ qui se trouvait sur la terrasse. Ils n'ont pas réagi aux insultes du jeune homme et se sont installés au fond du restaurant à l'intérieur. Peu après, B._ s'est approché d'eux en prétextant vouloir s'excuser. Il a pris la main de A._ qui s'est levé. Tandis que ce dernier tentait de se dégager de cette emprise, B._ lui a asséné plusieurs coups de poing au visage et à la tête qui l'ont fait tomber, puis s'est assis sur son dos et a continué à le frapper. Au début de cette scène, la tenancière du restaurant est partie pour appeler la police. Lorsqu'elle est revenue dans la salle, B._ avait cessé de frapper A._. La police est arrivée sur place peu après. Il s'est avéré que B._ - qui a des antécédents pénaux (2 condamnations pour lésions corporelles et brigandage) - et A._ ne se connaissaient pas, mais que trois semaines auparavant, devant un stand de kebab, le premier nommé avait déjà donné un coup de poing au second parce qu'il n'avait pas été servi comme il le voulait.
A._ a été transporté au Centre U._ où il est resté observation jusqu'au 20 août 2008 pour un traumatisme cranio-cérébral (TCC). Il s'est plaint notamment de douleurs cervicales. Au plan clinique, les médecins ont relevé une légère tuméfaction de l'hémiface droite, une petite plaie sous-orbitaire droite, un hématome monoculaire droit, une parésie des membres supérieur et inférieur droits, une fracture discrète de la paroi antérieure du sinus maxillaire droit et de l'os propre du nez, ainsi qu'un globe vésical. Un CT-Scan cérébral et cervical n'ont montré aucune anomalie (hormis la fracture du nez). La CNA a pris en charge le cas.
Selon le constat médical établi le 22 août 2008 par le Centre de médecine légale V._, l'assuré présentait encore quelques abrasions cutanées (dont une de 5x5 cm) ainsi que plusieurs zones érythémateuses au niveau du dos, des petites croûtelles aux membres supérieurs gauche et droit, une tuméfaction au genou droit et, enfin, des discolorations et des abrasions cutanées aux deux jambes. A._ portait une prothèse dentaire lors de l'agression qui a dû être remplacée.
L'assuré a été mis en arrêt de travail à 100 % jusqu'au 21 septembre 2008, puis à 50 % jusqu'au 13 octobre suivant. Il a bénéficié d'un suivi psychologique dès le 2 septembre 2008. Licencié par son employeur en février 2010, A._ s'est inscrit au chômage. Les évaluations neuropsychologiques auxquelles il a régulièrement été soumis ont mis à jour des troubles de la concentration et de la mémoire allant en s'empirant. C._, psychologue FSP, a fait état d'un probable état de stress post-traumatique.
B._ a été renvoyé devant le Tribunal correctionnel pour lésions corporelles graves, subsidiairement lésions corporelles simples, liés à l'événement du 18 août 2008, ainsi que pour d'autres faits de violence. Par jugement du 1er avril 2010, il a été condamné notamment à une peine privative de liberté de vingt-quatre mois qui a été suspendue au profit d'une mesure de traitement institutionnel. Le tribunal a également pris acte de la reconnaissance de dette (8'000 fr.) souscrite en faveur de A._ à titre d'indemnité pour tort moral.
Par décision du 9 février 2011, la CNA a mis un terme à ses prestations avec effet au 31 décembre 2010, considérant que l'assuré ne présentait plus de séquelles physiques de l'accident et qu'elle n'avait pas à prendre en charge ses troubles psychiques.
Saisie d'une opposition, la CNA a confié une expertise au docteur D._, neurologue. Ce médecin a retenu que l'examen neurologique était normal et que les plaintes formulées par l'assuré (maux de tête, douleurs à la nuque et troubles de la mémoire et de la concentration) ne pouvaient être mises en relation avec une probable atteinte somatique résultant de l'agression du 18 août 2008 (rapport du 22 août 2011). Sur plan psychique, le docteur E._, psychiatre de la CNA, a posé les diagnostics de personnalité dépendante, trouble dépressif récurrent (épisode actuel sévère sans symptômes psychotiques), anxiété généralisée et syndrome de dépendance à l'alcool. Ce psychiatre a conclu à une causalité partielle, voire marginale, entre les troubles constatés et l'accident; la capacité de travail était de l'ordre de 25 % (rapport du 17 janvier 2012). Le 22 mai 2012, l'assureur-accidents a écarté l'opposition et confirmé les termes de sa décision initiale.
B.
L'assuré a déféré cette dernière décision à la Cour des assurances du Tribunal cantonal vaudois, qui a rejeté son recours par jugement du 16 avril 2013.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut à ce que la CNA soit condamnée à prendre en charge tous les traitements médicaux en lien avec l'accident du 18 août 2008 (en particulier après décembre 2010), à lui verser une indemnité pour atteinte à l'intégrité et, enfin, à examiner son droit à une rente LAA. A._ sollicite également l'assistance judiciaire sous la forme d'une dispense des frais judiciaires.
La CNA conclut au rejet du recours. L'Office fédéral de la santé publique renonce à se déterminer.

Considérant en droit:
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) prévu par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si la CNA était fondée, par sa décision sur opposition du 22 mai 2012, à supprimer toute prestation d'assurance à compter du 1er janvier 2011. Il s'agit plus particulièrement d'examiner l'existence d'un lien de causalité entre les troubles persistant au-delà de cette date et l'accident assuré.
3.
Lorsque la procédure porte sur des prestations en espèces et en nature de l'assurance-accidents comme c'est le cas ici, le Tribunal fédéral dispose d'un pouvoir d'examen étendu en ce qui concerne les faits communs aux deux types de prestations (voir arrêt 8C_584/2009 du 2 juillet 2010 consid. 4).
4.
Le jugement entrepris expose de manière exacte et complète les dispositions légales et les principes jurisprudentiels relatifs aux notions de causalité naturelle et adéquate, notamment la jurisprudence selon laquelle il y a lieu d'appliquer les critères développés en matière de troubles psychiques (<ref-ruling> et 403) - en opérant une distinction entre les atteintes d'origine psychique et celles organiques -, même en présence d'un accident ayant entraîné un traumatisme de type "coup du lapin", un traumatisme analogue ou un traumatisme cranio-cérébral, lorsque ces troubles psychiques constituent clairement une atteinte à la santé distincte et indépendante du tableau clinique consécutif à un traumatisme de ce type (<ref-ruling> consid. 9.5 p. 125 sv.; voir également RAMA 2001 n° U 412 p. 79 consid. 2b [U 96/00]). Il suffit donc d'y renvoyer.
5.
La cour cantonale a nié l'existence d'une causalité adéquate entre les troubles psychiques dont souffre le recourant et l'événement du 18 août 2008 - qu'elle a qualifié d'accident de gravité moyenne -, tout en laissant indécise la question de la causalité naturelle. Considérant que ces troubles étaient indépendants du TCC initial, elle a retenu qu'aucun des critères objectifs définis par la jurisprudence en cas de troubles psychiques consécutifs à un accident de ce type n'était réalisé en l'espèce. En particulier, elle a écarté l'argument de l'assuré qui, à l'aune de deux affaires ayant également concerné une agression, faisait valoir que l'attaque dont il avait été victime réunissait le critère des circonstances particulièrement dramatiques ou impressionnantes de l'accident. Les premiers juges ont donc confirmé l'arrêt des indemnités journalières et de la prise en charge du traitement médical. Pour le même motif - à savoir l'absence de causalité adéquate -, ils ont également nié le droit de l'assuré à une indemnité pour atteinte à l'intégrité.
6.
Le recourant ne conteste pas qu'il ne présente plus de séquelles physiques susceptibles le cas échéant de fonder des prestations d'assurance à la charge de l'intimée au-delà du 31 décembre 2010, mais une atteinte à la santé psychique associée à des troubles neuropsychologiques. Il ne remet pas non plus en cause le fait que les premiers juges n'ont pas appliqué à son cas la jurisprudence spécifique au traumatisme cranio-cérébral, ni le classement, dans la catégorie des accidents de gravité moyenne, de l'événement du 18 août 2008. On n'examinera pas plus avant ces points qui, au demeurant, ne sont pas critiquables tant du point de vue des faits que du droit.
Ce que le recourant reproche essentiellement aux premiers juges, c'est, d'une part, d'avoir laissé ouverte la question de la causalité naturelle de ses troubles psychiques et, d'autre part, s'agissant de l'examen des critères déterminants pour établir leur caractère adéquat, d'avoir minimisé le caractère dramatique et impressionnant de l'agression qu'il avait subie. Selon lui, le fait qu'il avait été attaqué en plein jour était plutôt de nature à augmenter l'impact psychologique de cette agression. Par ailleurs, les premiers juges n'avaient pas tenu compte de l'acharnement dont avait fait preuve son agresseur. Celui-ci l'avait frappé à plusieurs reprises à la tête et l'avait ensuite maintenu au sol en continuant à le frapper de ses poings. Le recourant estime que ces circonstances justifient l'admission du caractère particulièrement impressionnant de l'accident et, en conséquence, également du lien de causalité adéquat.
7.
7.1. Même si le docteur E._, de la CNA, n'a pas retenu le diagnostic d'état de stress post-traumatique posée par la psychologue C._ et qu'il a conclu à une relation "marginale" entre l'état dépressif sévère constaté et l'agression du 18 août 2008, on peut convenir avec le recourant que les juges cantonaux disposaient de suffisamment d'éléments médicaux pour répondre de manière affirmative à la question de la causalité naturelle. A lire les considérations du psychiatre, on ne peut en effet nier que l'agression ait joué un rôle dans l'évolution de l'état de l'assuré. Cela suffit pour reconnaître l'existence d'un tel lien au sens de la jurisprudence (<ref-ruling> consid. 3.1 p. 181), quand bien même d'autres facteurs y ont contribué de manière importante. Cela étant, la solution adoptée par les premiers juges n'est pas contraire au droit. Il est en effet admissible de laisser la question de la causalité naturelle ouverte, lorsque ce lien ne pourrait de toute façon pas être qualifié d'adéquat (voir <ref-ruling> consid. 5.1 p. 472). Or, comme on le verra ci-après, le lien de causalité adéquate fait défaut, étant précisé que l'on se trouve en présence d'un accident de gravité moyenne et que dans une telle éventualité, il faut un cumul de trois critères sur les sept ou au moins que l'un des critères retenus se soit manifesté de manière particulièrement marquante pour l'accident (SVR 2010 UV n° 25 p. 100 consid. 4.5 [8C_897/2009], arrêt 8C_ 46/2011 du 18 avril 2011 consid. 5.1).
7.2. Il est admis que les critères déterminants que sont la gravité des lésions physiques, la durée anormalement longue du traitement médical et de l'incapacité de travail découlant des atteintes physiques, un processus de guérison caractérisé par des difficultés et des complications importantes, une erreur médicale dans le traitement entraînant une aggravation notable des séquelles de l'accident, ainsi que des douleurs physiques persistantes ne sont pas réunis. Le seul critère entrant en discussion est celui du caractère particulièrement impressionnant de l'événement du 18 août 2008.
En l'espèce, le recourant a été victime d'une agression, en plein jour et dans un lieu public, de la part d'un jeune homme non armé qui l'a frappé de ses poings au visage et au dos à plusieurs reprises. L'agression a duré en tout quelques minutes (voir le jugement du Tribunal correctionnel p. 19). Il en est résulté un TCC mineur, une fracture discrète du nez et des contusions; l'assuré allègue avoir perdu connaissance sous les coups mais cela n'a pas pu être établi. Le fait d'être victime d'un acte de violence gratuite comme l'a été le recourant présente indéniablement un caractère impressionnant. On ne saurait toutefois considérer que ce critère à lui seul a revêtu en l'occurrence une intensité suffisante pour faire admettre l'existence d'une relation de causalité adéquate. Que l'agression se soit produite la journée et dans un lieu fréquenté constitue, quoi qu'en dise le recourant, un élément propre à conférer à l'événement un caractère moins saisissant que si cela s'était passé la nuit et dans un endroit isolé, dans la mesure où l'assuré pouvait raisonnablement compter sur l'intervention de tiers pour faire cesser l'agression ou appeler la police, ce qui s'est d'ailleurs passé. En outre, sans dénier la brutalité des coups donnés par l'agresseur, ceux-ci ont été assez brefs et n'ont pas entraîné des blessures graves. Force est ainsi de constater que l'agression subie par le recourant présente un degré de gravité moindre que celle ayant fait l'objet de la cause U 36/07 du 8 mai 2007 où le Tribunal fédéral a admis le caractère adéquat de troubles psychiques développés par un assuré sur la base du seul critère du caractère particulièrement impressionnant de l'agression. Dans cette affaire, l'assuré avait été attaqué par trois inconnus devant son domicile vers 4 heures du matin qui l'avaient jeté par terre et roué de coups de bâtons avant de s'enfuir à la suite d'une intervention des voisins, étant précisé que l'intéressé avait fait auparavant l'objet de menaces, de chantage et de tentative d'extorsion de la part du Parti des travailleurs du pays W._. Le Tribunal fédéral a notamment pris en considération le fait que le lien entre ces menaces et l'agression n'avait pu échapper à l'assuré qui pouvait sérieusement craindre pour sa vie ou du moins pour une perte importante et permanente de son intégrité corporelle (pour autre exemple d'agression particulièrement impressionnante voir l'arrêt U 382/06 du 6 mai 2008 consid. 4.3.1, ainsi que l'arrêt 8C_480/2013 du 15 avril 2014). Comme l'ont relevé à juste titre les juges cantonaux, les circonstances d'espèce ont plus analogie avec d'autres cas d'agression où le critère a été admis mais sans être considéré comme spécialement marquant (cf. les arrêts 8C_445/2013 du 27 mars 2014 consid. 4.3.2, 8C_168/2011 du 11 juillet 2011 consid. 5.2, 8C_254/2009 du 19 mars 2010 consid. 3.3.2, U 138/04 du 16 février 2005).
Compte tenu de ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
8.
Au vu des informations fournies, les moyens de subsistance du recourant consistent actuellement en une rente entière octroyée par l'assurance-invalidité. Les conditions de l'<ref-law> étant réunies, il est dispensé de l'obligation de payer les frais judiciaires. Son attention est cependant attirée sur le fait qu'il devra rembourser la caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée au recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils seront toutefois supportés provisoirement par la caisse du Tribunal.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 7 mai 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : La Greffière :
Leuzinger von Zwehl