Faits :
A.
Le 16 juillet 2015, X._ a déposé plainte pénale contre inconnu pour les faits suivants. Lors d'un voyage à bord du train reliant Milan à C._, il avait refusé de montrer une nouvelle fois son titre de transport au contrôleur CFF, lequel avait ensuite appelé la police. Durant l'intervention, les policiers l'avaient jeté hors du train à la gare de B._ et l'avaient frappé, puis menotté. X._ s'était évanoui et avait été transporté à l'Hôpital A._ où il avait été hospitalisé durant quatre jours.
Par ordonnance du 15 septembre 2015, le Ministère public de l'arrondissement de l'Est vaudois a décidé de ne pas entrer en matière sur cette plainte, considérant que les éléments constitutifs de l'infraction de lésions corporelles simples n'étaient manifestement pas réunis.
B.
Par arrêt du 30 novembre 2015, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre l'ordonnance du 15 septembre 2015. En substance, elle a retenu que les policiers, appelés en renfort par le contrôleur CFF, étaient légitimés à demander à ce dernier ses papiers d'identité et, en cas de refus, à l'obliger à descendre du train. Ils avaient agi dans le cadre de leur fonctions et de manière proportionnée dans la mesure où aucune trace de violence n'avait été relevée.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre cet arrêt, dont il demande l'annulation. Il conclut, avec suite de frais et dépens, au renvoi de la cause à la Chambre des recours pénale pour qu'elle ordonne la réouverture de l'instruction pénale et la conduite d'une enquête effective, subsidiairement pour qu'elle statue dans le sens des considérants. Il sollicite par ailleurs l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD 170.11), l'Etat et les communes répondent directement du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4). L'agent n'est pas personnellement tenu envers le lésé de réparer le dommage (art. 5). Le canton de Vaud ayant ainsi fait usage de la faculté réservée à l'<ref-law>, le recourant ne dispose en l'espèce que d'une prétention de droit public à faire valoir non pas contre les auteurs présumés, agents de police, mais contre l'Etat (cf. <ref-ruling> consid. 2.2 p. 191; arrêt 6B_774/2016 du 13 septembre 2016 consid. 2.1 et les références citées). Selon la jurisprudence constante, de telles prétentions ne peuvent être invoquées dans le procès pénal par voie d'adhésion et ne constituent, dès lors, pas des prétentions civiles au sens de l'<ref-law> (<ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234; <ref-ruling> consid. 2).
1.2. Nonobstant ce qui précède, la jurisprudence reconnaît aux personnes qui se prétendent victimes de traitements prohibés au sens des art. 10 al. 3 Cst., 7 Pacte ONU II, 3 CEDH ou 13 par. 1 de la Convention des Nations unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants conclue à New York le 10 décembre 1984 (RS 0.105; ci-après: convention de New York), d'une part, le droit de porter plainte et, d'autre part, un droit propre à une enquête prompte et impartiale devant aboutir, s'il y a lieu, à la condamnation pénale des responsables.
En particulier, l'art. 3 CEDH, combiné avec l'art. 1 CEDH ou avec l'art. 13 CEDH, confère à tout individu prétendant de manière défendable avoir été traité de façon inhumaine ou dégradante un droit à une enquête officielle approfondie et effective, qui doit permettre d'élucider les circonstances ainsi que d'identifier et de sanctionner les responsables (<ref-ruling> consid. 3.1.1 p. 88; <ref-ruling> consid. 1.2.5 p. 462 et les références citées).
Un mauvais traitement au sens des dispositions précitées doit en principe être intentionnel et atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement et de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime. Un traitement atteint le seuil requis et doit être qualifié de dégradant s'il est de nature à créer des sentiments de peur, d'angoisse et d'infériorité propres à humilier ou à avilir la victime, de façon à briser sa résistance physique ou morale ou à la conduire à agir contre sa volonté ou sa conscience. Il y a également traitement dégradant, au sens large, si l'humiliation ou l'avilissement a pour but, non d'amener la victime à agir d'une certaine manière, mais de la punir. Lorsqu'un individu se trouve privé de sa liberté, l'utilisation à son égard de la force physique alors qu'elle n'est pas rendue strictement nécessaire par son comportement porte atteinte à la dignité humaine et constitue, en principe, une violation de la convention de New York et des art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst. (arrêt 6B_474/2013 du 23 août 2013 consid. 1.4 et les références citées). L'allégation d'un traitement prohibé par l'art. 3 CEDH est défendable lorsqu'elle ne se révèle pas d'emblée dépourvue de crédibilité (cf. arrêt 6B_362/2009 du 13 juillet 2009 consid. 1.1 publié in PJA 2009 p. 1479 s.).
La victime de traitements prohibés peut fonder son droit de recours sur les dispositions précitées (<ref-ruling> consid. 3.1.1 p. 86; arrêt 6B_362/2009 précité consid. 1.2).
1.3. En l'occurrence, le recourant se plaint d'une arrestation violente, intervenue dans un contexte de discrimination raciale, lors de laquelle il a reçu des coups qui ont entraîné une perte de connaissance et une hospitalisation. Si les faits reprochés s'avéraient exacts, ils pourraient être assimilés à un traitement inhumain ou dégradant. Par ailleurs, les allégations du recourant ne se révèlent pas d'emblée contredites par des faits clairement établis. Le recourant a donc qualité pour recourir contre l'arrêt attaqué.
2.
Le recourant invoque une constatation manifestement inexacte des faits et soutient que son droit à une enquête effective découlant de l'art. 3 CEDH, combiné avec l'art. 1 ou l'art. 13 CEDH, a été violé.
2.1. Le droit à une enquête officielle approfondie et effective fonde une obligation de moyens, non de résultat. Il impose aux autorités de prendre toutes les mesures raisonnables possibles pour obtenir les preuves relatives aux faits en question, telles que l'audition des personnes impliquées, les dépositions des témoins oculaires, les expertises, les certificats médicaux, etc. Toute défaillance dans les investigations qui compromet la capacité des autorités à établir les faits ou les responsabilités peut être constitutive d'une violation de l'art. 3 CEDH. Par ailleurs, les autorités doivent agir avec célérité et diligence (cf. arrêt de la CourEDH Abdu c. Bulgarie du 11 mars 2014, par. 43; arrêts 6B_152/2014 du 6 janvier 2015 consid. 3.1; 1B_771/2012 du 20 août 2013 consid. 2.1; 1B_10/2012 du 29 mars 2012 consid. 1.2.3).
2.2. En l'espèce, le recourant a expliqué dans sa plainte que la police l'avait jeté en dehors du train et couché en pleine rue de manière extrêmement brutale. Il avait reçu des coups, avait été menotté, puis s'était évanoui. Il n'avait repris connaissance qu'après plusieurs heures, à l'Hôpital A._, où il était resté hospitalisé durant quatre jours.
A réception de la plainte du recourant, le ministère public a requis la production du rapport de police relatif à cette intervention. Il en ressort que les agents de police ont dû user de la contrainte pour faire sortir le recourant du train et que celui-ci s'est blessé à la tête en tombant sur le quai, de sorte qu'il présentait une marque sur sa pommette gauche. Le rapport ajoute qu'après avoir été menotté, le recourant " a semblé perdre connaissance " et a été transporté à l'hôpital par ambulance. Le ministère public n'a procédé à aucun autre acte d'enquête et a rendu une ordonnance de non-entrée en matière en se fondant uniquement sur ce rapport de police.
A l'appui de son recours contre cette ordonnance, le recourant a produit un document de transmission établi par l'Hôpital A._. La cour cantonale a constaté que ce document ne faisait pas mention de violence ou de coups, notamment à la tête, qui auraient pu provoquer un malaise ayant nécessité l'hospitalisation dont le recourant avait fait l'objet. A l'inverse, le motif de la prise en charge du patient figurant sur ce document faisait état d'un malaise d'origine indéterminée. Les médecins semblaient exclure un trouble neurologique au profit d'un trouble de conversion hystérique pour lequel ils demandaient un avis psychiatrique. La cour cantonale en a déduit que les indices tendant à admettre une brutalité policière étaient très faibles, voire inexistants. Les policiers avaient agi dans le cadre de leur fonction, en vertu de l'art. 25 du Règlement général de police de l'Association de communes sécurité Riviera, et de manière proportionnée dans la mesure où aucune trace de violence n'avait été relevée. Pour ces motifs, l'autorité précédente a confirmé l'ordonnance de non-entrée en matière.
2.3. Il est admis que le recourant a perdu connaissance au moment de son appréhension, que les policiers ont dû appeler une ambulance qui l'a conduit à l'hôpital, et qu'il y est demeuré pendant quatre jours. Cet incident sérieux survenu lors d'une intervention de police implique que des investigations soient menées dans le but d'en déterminer la cause. Or, le rapport de police recueilli par le ministère public ne contient que des informations très générales à ce sujet. Il indique que le recourant s'est légèrement cogné la tête contre le sol et présentait une marque sur la pommette, mais ne semble pas lier ces faits à son évanouissement survenu par la suite. Aucune autre mesure d'investigation, telle que l'identification et l'audition des agents de police ayant pris part à l'intervention, ou encore l'apport du dossier médical du recourant, n'a été entreprise afin d'établir les faits. Ainsi, en se bornant à obtenir copie du rapport de police, lequel fait état d'une atteinte à la santé du recourant sans explication sur son origine, le ministère public n'a pas diligenté une enquête approfondie et effective telle qu'exigée par la jurisprudence (cf. arrêt 6B_362/2009 du 13 juillet 2009 consid. 1.4).
La cour cantonale s'est quant à elle essentiellement fondée sur le document médical de transmission de l'Hôpital A._, produit par l'intéressé à l'appui du recours cantonal, pour conclure que les faits dénoncés n'étaient pas constitutifs d'une infraction pénale. Cependant, même si ce document médical ne relève aucune lésion physique, les policiers ont constaté que le recourant présentait une marque à la pommette. Mais surtout, le trouble de conversion hystérique diagnostiqué n'exclut pas encore la commission d'un ou plusieurs acte (s) répréhensible (s) par les agents de police à l'endroit du recourant. En effet, de tels agissement ont pu avoir lieu indépendamment de la manifestation de ce trouble, ou même l'avoir provoqué, ce qui serait pertinent notamment sous l'angle de l'infraction visée par l'<ref-law> (cf. <ref-ruling> consid. 1.4). Dans la mesure où le document médical produit n'est pas décisif, la cour cantonale ne pouvait se fonder sur cette pièce pour confirmer l'ordonnance de non-entrée en matière rendue en violation des art. 3 et 1 ou 13 CEDH. Le recours sera admis pour ce motif.
3.
L'arrêt attaqué doit ainsi être annulé et la cause renvoyée à l'autorité cantonale pour qu'elle ordonne une enquête approfondie et effective en conformité avec l'art. 3 CEDH. Vu le motif du renvoi, le Tribunal fédéral peut statuer sans préalablement requérir des observations (<ref-ruling> consid. 3.4.2 p. 295 s.).
Le canton de Vaud sera dispensé des frais (<ref-law>). Il versera en revanche au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (<ref-law>). La requête d'assistance judiciaire devient ainsi sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de dépens de 3000 fr. est allouée au recourant, à la charge du canton de Vaud.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 12 octobre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy