Faits :
A.
Par acte du 25 juillet 2013, X._ a déposé plainte pénale auprès du Ministère public de l'arrondissement de Lausanne contre A._, alors sergent-major au sein de la police cantonale vaudoise. Il lui reproche notamment de l'avoir poussé et saisi violemment à la gorge alors qu'ils se trouvaient sur un parking, lui occasionnant un oedème au regard sterno-cléido-mastoïdien, puis de l'avoir à nouveau étranglé alors qu'il se trouvait en cellule.
B.
B.a. Par ordonnance du 30 janvier 2015, le ministère public a classé la procédure pénale dirigée contre A._ pour voies de fait, injure et abus d'autorité et a laissé les frais de procédure à la charge de l'Etat.
B.b. Par arrêt du 19 mai 2015, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis le recours de X._, annulé l'ordonnance et renvoyé le dossier de la cause au ministère public pour complément d'instruction.
B.c. Après complément, par ordonnance du 6 septembre 2016, le ministère public a ordonné le classement de la procédure pénale dirigée contre A._.
C.
Par arrêt du 27 décembre 2016, la Chambre des recours pénale a rejeté le recours de X._ contre cette ordonnance.
En résumé, elle a constaté les faits suivants:
- Le 23 juillet 2013, A._ circulait sur l'autoroute A9 au volant de sa voiture de service. ll s'est porté à la hauteur du véhicule conduit par X._, qui occupait abusivement la voie centrale et a fait signe à celui-ci de se rabattre avant de le dépasser et de poursuivre sa route.
- X._ a néanmoins suivi A._ dans le garage du centre de la Blécherette. A._ lui a demandé ce qu'il voulait en lui faisant remarquer qu'il lui avait seulement fait signe de circuler à droite sur l'autoroute. X._ lui a demandé qui il était pour lui donner de tels ordres. A._ a tenté de contrôler X._, lequel a refusé de confirmer l'adresse figurant sur son permis de conduire et de lui remettre les clés de son véhicule.
- Une bousculade a eu lieu entre X._ et le policier dans le parking. X._, qui était agité, a ensuite été conduit en cellule par deux agents, venus aider A._. A la suite de ces événements X._ a souffert d'un oedème au regard sterno-cléido-mastoïdien droit. Il a ensuite été libéré.
D.
Contre l'arrêt cantonal, X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué en ce sens que l'ordonnance du 6 septembre 2016 est annulée, le dossier est renvoyé au ministère public pour complément d'instruction et mise en accusation et une indemnité de 2'000 fr. lui est octroyée pour ses frais de recours cantonal. Subsidiairement, il conclut à l'annulation de l'arrêt du 27 décembre 2016 et au renvoi de la cause à cette autorité pour nouvelle décision. Il requiert, par ailleurs, l'effet suspensif sur le paiement des frais de procédure de la seconde instance.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1).
Selon la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD 170.11), l'Etat et les communes répondent directement du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4). L'agent n'est pas personnellement tenu envers le lésé de réparer le dommage (art. 5). Le canton de Vaud ayant ainsi fait usage de la faculté réservée à l'<ref-law>, le recourant ne dispose en l'espèce que d'une prétention de droit public à faire valoir non pas contre l'auteur présumé, agent de police, mais contre l'Etat (cf. <ref-ruling> consid. 2.2 p. 191; arrêt 6B_147/2016 du 12 octobre 2016 consid. 1.1 et les références citées). Selon la jurisprudence constante, de telles prétentions ne peuvent être invoquées dans le procès pénal par voie d'adhésion et ne constituent, dès lors, pas des prétentions civiles au sens de l'<ref-law> (<ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234; <ref-ruling> consid. 2 p. 190 ss; arrêt 6B_446/2015 du 10 juin 2015 consid. 1.2).
1.2. Nonobstant ce qui précède, la jurisprudence reconnaît aux personnes qui se prétendent victimes de traitements prohibés au sens des art. 10 al. 3 Cst., 7 Pacte ONU II, 3 CEDH ou 13 par. 1 de la Convention des Nations Unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants conclue à New York le 10 décembre 1984 (RS 0.105; ci-après: convention de New York), d'une part, le droit de porter plainte et, d'autre part, un droit propre à une enquête prompte et impartiale devant aboutir, s'il y a lieu, à la condamnation pénale des responsables. En particulier, l'art. 3 CEDH, combiné avec l'art. 1 CEDH ou avec l'art. 13 CEDH, confère à tout individu prétendant de manière défendable avoir été traité de façon inhumaine ou dégradante un droit à une enquête officielle approfondie et effective, qui doit permettre d'élucider les circonstances ainsi que d'identifier et de sanctionner les responsables (<ref-ruling> consid. 3.1.1 p. 88; <ref-ruling> consid. 1.2.5 p. 462 et les références citées; arrêt 6B_147/2016 du 12 octobre 2016 consid. 1.2).
Un mauvais traitement au sens des dispositions précitées doit en principe être intentionnel et atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement et de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime. Un traitement atteint le seuil requis et doit être qualifié de dégradant s'il est de nature à créer des sentiments de peur, d'angoisse et d'infériorité propres à humilier ou à avilir la victime, de façon à briser sa résistance physique ou morale ou à la conduire à agir contre sa volonté ou sa conscience. Il y a également traitement dégradant, au sens large, si l'humiliation ou l'avilissement a pour but, non d'amener la victime à agir d'une certaine manière, mais de la punir. Lorsqu'un individu se trouve privé de sa liberté, l'utilisation à son égard de la force physique alors qu'elle n'est pas rendue strictement nécessaire par son comportement porte atteinte à la dignité humaine et constitue, en principe, une violation de la convention de New York et des art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst. (arrêt 6B_474/2013 du 23 août 2013 consid. 1.4 et les références citées). L'allégation d'un traitement prohibé par l'art. 3 CEDH est défendable lorsqu'elle ne se révèle pas d'emblée dépourvue de crédibilité (cf. arrêt 6B_147/2016 du 12 octobre 2016 consid. 1.2).
La victime de traitements prohibés peut fonder son droit de recours sur les dispositions précitées (<ref-ruling> consid. 3.1.1 p. 88; arrêt 6B_147/2016 du 12 octobre 2016 consid. 1.2).
Le recourant se prévaut des art. 3 CEDH, 10 al. 3 Cst., 7 Pacte ONU II ou 13 par. 1 de la convention de New York. Il se plaint d'une strangulation devant les locaux de la gendarmerie, d'avoir été privé de sa liberté et d'avoir été à nouveau violenté dans ces circonstances. Si les faits reprochés s'avéraient exacts, ils pourraient être assimilés à un traitement inhumain ou dégradant. Par ailleurs, les allégations du recourant ne se révèlent pas d'emblée contredites par des faits clairement établis. Le recourant doit donc se voir reconnaître la qualité pour recourir.
2.
Le recourant se plaint d'une appréciation arbitraire des preuves.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266). En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 3.4 p. 53; arrêt 6B_565/2015 du 10 février 2016 consid. 1.1 non publié in <ref-ruling>).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs autres arguments de nature à emporter la conviction (arrêt 6B_565/2015 du 10 février 2016 consid. 1.1 non publié in <ref-ruling>).
2.2. En l'espèce, s'agissant de l'épisode sur le parking, on comprend que le recourant se plaint que l'instance précédente ait privilégié la version de l'intimé aux dépens de la sienne, par laquelle il soutenait avoir subi un étranglement de la part de l'intimé.
Ce faisant, le recourant se borne à opposer sa propre appréciation des preuves à celle de l'autorité précédente sans démontrer en quoi celle-ci - fondée sur les déclarations de l'intimé et corroborée par celles de deux témoins - serait arbitraire. Son argumentation appellatoire est irrecevable. Au demeurant, le recourant reproche à l'autorité précédente de n'avoir pas mentionné des divergences dans les déclarations de l'intimé. Il n'explique toutefois pas la pertinence de ces prétendues divergences et ce qu'il voudrait en tirer comme conclusion.
2.3. S'agissant de l'épisode dans la cellule, le recourant soutient que l'intimé l'a repoussé violemment et lui a serré à nouveau brièvement le cou. Il invoque à cet égard des images de vidéo-surveillance. Or, celles-ci ne montrent rien de tel. Tout au plus, elles montrent l'intimé repoussant le recourant d'une main et, à une seconde reprise, le repoussant au niveau du cou. De plus, l'arrêt cantonal retient qu'un témoin confirme que le recourant n'a subi aucun étranglement de la part de l'intimé. Le grief doit être rejeté.
3.
Le recourant reproche à l'autorité cantonale d'avoir confirmé le classement. Il invoque une violation de l'<ref-law> et du principe " in dubio pro duriore ". Il estime que l'intimé aurait dû être renvoyé en jugement pour lésions corporelles et abus d'autorité.
3.1. Selon l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a), lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b), lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c), lorsqu'il est établi que certaines conditions à l'ouverture de l'action pénale ne peuvent pas être remplies ou que des empêchements de procéder sont apparus (let. d) ou lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales (let. e). L'<ref-law> prévoit encore deux autres motifs de classement exceptionnels (intérêt de la victime ou consentement de celle-ci).
Le principe " in dubio pro duriore " découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid 4.1 p. 190; arrêt 6B_570/2016 du 6 juin 2017 consid. 3).
3.2. L'<ref-law> punit celui qui, intentionnellement, aura fait subir à une personne une autre atteinte à l'intégrité corporelle ou à la santé. Aux termes de l'<ref-law>, quiconque agit comme la loi l'ordonne ou l'autorise se comporte de manière licite, même si l'acte est punissable en vertu du présent code ou d'une autre loi. L'art. 24 de la loi vaudoise sur la police cantonale (RSV 133.11; LPol) interdit au fonctionnaire de police de faire subir à quiconque un outrage ou des mauvais traitements, mais prévoit que la police peut, pour l'accomplissement de son service, utiliser la force, dans une mesure proportionnée aux circonstances, lorsqu'il n'existe pas d'autre moyen d'agir.
L'<ref-law> réprime le fait pour un membre d'une autorité ou un fonctionnaire d'abuser des pouvoirs de sa charge dans le dessein de se procurer ou de procurer à un tiers un avantage illicite ou de nuire à autrui. L'infraction suppose que l'auteur agisse dans l'accomplissement ou sous le couvert de sa tâche officielle, et qu'il abuse des pouvoirs inhérents à cette tâche. L'abus est réalisé lorsque l'auteur, en vertu de sa charge officielle, décide ou use de contrainte dans un cas où il ne lui est pas permis de le faire (<ref-ruling> consid. 1a/aa p. 211); l'abus est également réalisé lorsque l'auteur poursuit un but légitime mais recourt, pour l'atteindre, à des moyens disproportionnés (<ref-ruling> consid. 1a/aa et b p. 211 ss; <ref-ruling> consid. 1 p. 30; <ref-ruling> consid. 2 p. 23). Du point de vue subjectif, l'infraction suppose un comportement intentionnel, au moins sous la forme du dol éventuel, ainsi qu'un dessein spécial, qui peut se présenter sous deux formes alternatives, soit le dessein de se procurer ou de procurer à un tiers un avantage illicite, soit le dessein de nuire à autrui (arrêt 6B_185/2016 du 30 novembre 2016 consid. 4.1.1).
3.3. Le grief du recourant, dès lors qu'il se fonde sur des faits qui n'ont pas été constatés par l'autorité précédente, sans que l'arbitraire de l'omission de ces faits ait été démontré, est irrecevable. Il en va notamment du fait non constaté que l'intimé aurait étranglé le recourant sur le parking ou le fait qu'il lui aurait causé une lésion alors qu'il était en cellule.
S'agissant de l'épisode sur le parking, le recourant reproche à l'autorité précédente de ne pas avoir précisé si elle retenait que l'infraction de lésions corporelles était réalisée mais qu'elle serait justifiée au regard de l'<ref-law> ou si son raisonnement s'articulait de manière différente. A la suite d'une enquête approfondie dans laquelle le ministère public a entendu toutes les personnes présentes le jour des faits, l'autorité précédente a estimé que l'intimé avait usé de la force de manière proportionnée et conforme aux devoirs d'un policier et que son comportement était dès lors couvert par l'<ref-law>. On comprend donc qu'il a admis l'existence d'une lésion corporelle licite. Le grief est dès lors infondé.
S'agissant de l'épisode dans la cellule, le recourant se plaint que l'accusation d'abus d'autorité ait été écartée, invoquant qu'il a été mis en cellule et poussé. Le recourant dit qu'il a été brusquement poussé en arrière en appuyant sur son cou; ce fait n'a pas été constaté par l'autorité précédente et ne ressort pas des images de vidéo-surveillance. Dans la mesure où le recourant ne collaborait pas, et qu'il ressort du dossier qu'il était énervé, c'est à bon droit que l'autorité précédente a estimé que son placement en cellule, tel qu'il a été opéré, pour une très courte période, ne constituait pas un abus d'autorité au sens de l'<ref-law>. Le fait qu'il ait été poussé ne suffit pas à réaliser l'infraction dans les circonstances d'espèce.
3.4. Au vu de ce qui précède, les probabilités d'un acquittement de l'intimé étaient largement plus élevées que celles d'une condamnation, de sorte que l'autorité précédente n'a pas violé le principe " in dubio pro duriore" en confirmant le classement.
4.
Au niveau cantonal, le recourant avait demandé la récusation du procureur en charge du dossier, dans l'hypothèse d'une admission de son recours. Dans son recours au Tribunal fédéral, il soutient que la présente affaire devrait être instruite par la division des affaires spéciales du Ministère public central du canton de Vaud (art. 25 al. 1 de la loi sur le Ministère public; [RSV 173.21; LMPu]). Vu l'issue du recours, cette question devient sans objet.
5.
Il s'ensuit que le recours en matière pénale doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). La cause étant tranchée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 19 juillet 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann