Faits :
A.
Par ordonnance du 31 mai 2017, le Ministère public de l'arrondissement de Lausanne a refusé d'entrer en matière sur la plainte déposée par X._ et laissé les frais à la charge de l'Etat.
B.
Par arrêt du 16 août 2017, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre cette ordonnance.
En bref, il ressort de cet arrêt les éléments suivants.
B.a. Par courrier non daté mais reçu le 13 juin 2016 par les autorités, X._ a déposé plainte pénale à la suite de l'intervention, sollicitée par ce dernier, le 3 juin 2016, à A._, des agents B._ et C._ de la police municipale de D._. X._ soutenait qu'il aurait téléphoné à la police pour les informer qu'une remorque se trouvait sur la route cantonale. Ensuite de cet appel, deux policiers se seraient rendus sur les lieux, soit devant le domicile de X._. Sans explication, un des agents de police aurait immédiatement sprayé le prénommé. Le second agent l'aurait mis à terre et lui aurait attaché les bras derrière le dos avec des menottes, lui provoquant une fracture du bras. En le mettant à terre, le policier l'aurait en outre blessé au visage et à l'avant-bras. Les deux policiers auraient ensuite emmené X._ au poste, où ils lui auraient refusé l'assistance d'un avocat et d'un médecin, puis l'auraient placé en cellule. Ensuite, un troisième policier serait arrivé, l'aurait sorti de sa cellule, lui aurait attrapé le bras cassé, lui aurait fait une clé d'épaule, lui aurait tordu le bras et l'aurait fait tomber par terre. Un autre policier serait intervenu pour calmer son collègue. Entre 22h30 et 23h00, un médecin serait venu le voir et l'aurait fait immédiatement transférer au CHUV.
Le 7 juin 2016, X._ a consulté l'Unité de médecine des violences du Centre universitaire romand de médecine légale. Il résulte du constat médical établi le même jour que le prénommé présentait diverses abrasions cutanées au niveau de la tête, des abrasions cutanées au niveau du dos, plusieurs ecchymoses et abrasions cutanées au niveau du bras et de la main droite, une attelle plâtrée recouverte d'un bandage s'étendant du tiers inférieur du bras gauche jusqu'au poignet, une abrasion cutanée rosée au niveau de la main gauche, une ecchymose et diverses abrasions au niveau de la jambe droite, ainsi qu'un décollement de l'ongle du premier orteil avec présence de sang séché sur sa partie externe et diverses abrasions cutanées au niveau de la jambe gauche. Il ressort en outre de ce constat médical que le 3 juin 2016, X._ a bénéficié d'une consultation au Service des urgences du CHUV. Il présentait alors des douleurs reproductibles à la palpation de la scapula gauche, une limitation de l'amplitude de l'épaule gauche dans toutes les directions en raison des douleurs, une conjonctivite simple bilatérale plus importante à gauche, des dermabrasions superficielles dans la région para-frontale gauche, en regard notamment de l'arcade sourcilière droite et de la pommette droite, et dans la région para-dorsale droite et au niveau des coudes, ainsi qu'une plaie millimétrique au niveau de la face médiale de l'hallux distal droit. Il présentait également une fracture intra-articulaire du capitulum de l'humérus avec quelques petits fragments intra-articulaires.
B.b. Dans le cadre du même complexe de faits, l'agent B._ a déposé plainte pénale, le 3 juin 2016, contre X._ lui reprochant en substance de l'avoir agressé.
Le casier judiciaire de X._ fait état de huit condamnations pour divers infractions, en particulier des infractions à la LCR telles que conduite en état d'ébriété ou conduite d'un véhicule malgré un retrait du permis de conduire, mais également pour extorsion et chantage, voies de fait, menaces et injure.
Par ordonnance pénale du 12 juin 2017, notamment en raison des faits ayant eu lieu le 3 juin 2016, le ministère public a condamné X._ à 6 mois de peine privative de liberté, sous déduction d'un jour d'arrestation provisoire, et à une amende de 300 fr., convertible en 3 jours de peine privative de liberté de substitution en cas de non-paiement dans le délai qui serait imparti, pour entrave à la circulation publique, violence ou menace contre les autorités et les fonctionnaires, conduite en état d'ébriété, tentative d'entrave aux mesures de constatation de l'incapacité de conduire, entrave aux mesures de constatation de l'incapacité de conduire et conduite sans autorisation. Le 23 juin 2017, X._ a formé opposition contre cette ordonnance pénale.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 16 août 2017. Il conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué en ce sens que l'ordonnance de non-entrée en matière du 31 mai 2017 est annulée et une instruction ouverte, subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il requiert par ailleurs l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.).
1.2. La loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD 170.11) prévoit que l'Etat et les corporations communales répondent du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4 al. 1). L'agent n'est pas tenu personnellement envers le lésé de réparer le dommage (art. 5). Sont des agents exerçant une fonction publique communale au sens de cette loi, les membres des autorités, les fonctionnaires, les employés et les autres agents des corporations communales (art. 3 al. 2). Entrent dans cette catégorie les agents de la police municipale qui font l'objet de la plainte du recourant. Le canton de Vaud ayant ainsi fait usage de la faculté réservée à l'<ref-law>, le recourant ne dispose que d'une prétention de droit public à faire valoir non pas contre les auteurs présumés, mais contre l'Etat (cf. <ref-ruling> consid. 2.2 p. 191; arrêt 6B_138/2017 du 19 juillet 2017 consid. 1.1 et les références citées). Selon la jurisprudence constante, une telle prétention ne peut être invoquée dans le procès pénal par voie d'adhésion et ne constitue dès lors pas une prétention civile au sens de l'<ref-law> (<ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234; <ref-ruling> consid. 2 p. 190 ss).
Contrairement à ce que soutient le recourant, il ne peut ainsi faire valoir aucune prétention civile contre les agents de police et ne peut par conséquent fonder sa qualité pour recourir sur l'art. 81 al. 1 let. b ch. 5 LTF.
1.3. La jurisprudence reconnaît aux personnes qui se prétendent victimes de traitements prohibés au sens des art. 10 al. 3 Cst., 7 Pacte ONU II, 3 CEDH ou 13 par. 1 de la Convention des Nations Unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants conclue à New York le 10 décembre 1984 (RS 0.105), d'une part, le droit de porter plainte et, d'autre part, un droit propre à une enquête prompte et impartiale devant aboutir, s'il y a lieu, à la condamnation pénale des responsables. La victime de tels traitements peut également bénéficier d'un droit de recours, en vertu des mêmes dispositions (<ref-ruling> consid. 3.1.1 p. 88 et les arrêts cités).
Un mauvais traitement au sens des dispositions précitées doit en principe être intentionnel et atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement et de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime. Un traitement atteint le seuil requis et doit être qualifié de dégradant s'il est de nature à créer des sentiments de peur, d'angoisse et d'infériorité propres à humilier ou à avilir la victime, de façon à briser sa résistance physique ou morale ou à la conduire à agir contre sa volonté ou sa conscience. Il y a également traitement dégradant, au sens large, si l'humiliation ou l'avilissement a pour but, non d'amener la victime à agir d'une certaine manière, mais de la punir. Lorsqu'un individu se trouve privé de sa liberté, l'utilisation à son égard de la force physique alors qu'elle n'est pas rendue strictement nécessaire par son comportement porte atteinte à la dignité humaine et constitue, en principe, une violation de la convention de New York et des art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst. (arrêt 6B_474/2013 du 23 août 2013 consid. 1.4 et les références citées). L'allégation d'un traitement prohibé par l'art. 3 CEDH est défendable lorsqu'elle ne se révèle pas d'emblée dépourvue de crédibilité (cf. arrêt 6B_147/2016 du 12 octobre 2016 consid. 1.2).
En l'occurrence, le recourant se plaint, en substance, d'avoir été sprayé et mis à terre par les agents qui lui auraient attaché les bras derrière le dos avec des menottes, lui provoquant une fracture du bras et divers autres blessures. Il se plaint également d'avoir été emmené au poste, où les agents lui auraient refusé l'assistance d'un avocat et d'un médecin et où il aurait encore été agressé physiquement par un troisième policier. Si les faits reprochés s'avéraient exacts, ils pourraient être assimilés à un traitement inhumain ou dégradant. Le recourant a donc la qualité pour agir et, les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière sur le fond.
2.
Le Tribunal fédéral est lié par les faits retenus par l'arrêt entrepris (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion v. <ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 6.1 p. 205) dans la constatation des faits. Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.4 p. 368 et les références citées). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
Le recourant débute ses écritures par une présentation personnelle des faits et de la procédure. Dans la mesure où il s'écarte des faits retenus par la cour cantonale sans démontrer que ceux-ci auraient été établis de manière arbitraire, son exposé est appellatoire, partant irrecevable.
3.
Invoquant le principe " in dubio pro duriore " et l'interdiction de la torture et des traitements inhumains et dégradants découlant des art. 10 al. 3 Cst. et 3 CEDH, le recourant soutient que la cour cantonale aurait dû renvoyer le dossier au ministère public pour ouverture d'une instruction.
3.1. Conformément à l'<ref-law>, le ministère public rend immédiatement une ordonnance de non-entrée en matière s'il ressort de la dénonciation ou du rapport de police que les éléments constitutifs de l'infraction ou les conditions à l'ouverture de l'action pénale ne sont manifestement pas réunis. Selon la jurisprudence, l'<ref-law> doit être appliquée conformément à l'adage " in dubio pro duriore " (arrêt 6B_572/2016 du 26 juin 2017 consid. 2.1.1). Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 1 CPP en relation avec les art. 309 al. 1, 310 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91; cf. encore récemment: arrêt 6B_572/2016 précité consid. 2.1.1) et signifie qu'en principe un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées).
Dans les procédures où l'accusation repose essentiellement sur les déclarations de la victime, auxquelles s'opposent celles du prévenu et lorsqu'il n'est pas possible d'estimer que certaines dépositions sont plus crédibles que d'autres, le principe " in dubio pro duriore " impose en règle générale que le prévenu soit mis en accusation (<ref-ruling> consid. 2.2.2 p. 243 et les arrêts cités). Cela vaut en particulier lorsqu'il s'agit de délits commis typiquement " entre quatre yeux " pour lesquels il n'existe souvent aucune preuve objective. Il peut toutefois être renoncé à une mise en accusation lorsque la partie plaignante fait des dépositions contradictoires, rendant ses accusations moins crédibles ou encore lorsqu'une condamnation apparaît au vu de l'ensemble des circonstances a priori improbable pour d'autres motifs (<ref-ruling> consid. 2.2.2 p. 243).
Déterminer si l'autorité précédente a correctement compris la portée du principe " in dubio pro duriore " est une question de droit, soumis au libre examen du Tribunal fédéral. Le principe " in dubio pro duriore ", en tant que règle de droit, est notamment violé lorsque l'instance précédente a admis dans ses considérants un soupçon suffisant mais, pour des motifs ne concernant pas l'objet du litige et en violation de son pouvoir d'appréciation, n'a pas engagé l'accusation, lorsqu'il ressort des considérants de l'arrêt attaqué que l'autorité précédente a établi l'état de fait comme un juge du fond, en faisant application du principe " in dubio pro reo " ou lorsqu'elle a méconnu de toute autre manière le principe " in dubio pro duriore " (<ref-ruling> consid. 2.3.3 p. 245 ss).
3.2. L'art. 3 CEDH interdit la torture ainsi que les traitements inhumains ou dégradants. Cette disposition, combinée avec l'art. 1 ou avec l'art. 13 CEDH, implique que tout individu qui prétend de manière défendable avoir été traité de façon inhumaine ou dégradante par un ou plusieurs agents de la force publique a droit à une enquête officielle approfondie et effective, qui doit pouvoir mener à l'identification et à la punition des responsables (cf. <ref-ruling> consid. 1.2.5 p. 462; arrêt 1B_771/2012 du 20 août 2013 consid. 2.1 et les références citées).
Le droit à une enquête officielle approfondie et effective découlant des art. 3 et 13 CEDH fonde une obligation de moyens, non de résultat. Il n'est donc pas violé du seul fait que les investigations menées n'ont pas permis de faire toute la lumière sur les faits litigieux. Néanmoins, il impose aux autorités de prendre toutes les mesures raisonnables possibles pour obtenir les preuves relatives aux faits en question, telles que l'audition des personnes impliquées, les dépositions des témoins oculaires, les expertises, les certificats médicaux, etc. Toute défaillance dans les investigations qui compromet la capacité des autorités à établir les faits ou les responsabilités peut être constitutive d'une violation de l'art. 3 CEDH. Par ailleurs, les autorités doivent agir avec célérité et diligence (cf. arrêt de la CourEDH Abdu contre Bulgarie du 11 mars 2014, par. 43; arrêts 6B_147/2016 du 12 octobre 2016 consid. 2.1; 6B_152/2014 du 6 janvier 2015 consid. 3.1; 1B_771/2012 précité consid. 2.1 et les références citées).
3.3. Aux termes de l'<ref-law>, quiconque agit comme la loi l'ordonne ou l'autorise se comporte de manière licite, même si l'acte est punissable en vertu du code pénal ou d'une autre loi.
L'art. 28 du règlement général de police de l'Association des communes de Belmont-sur-Lausanne, Paudex, Pully et Savigny prévoit que la police peut appréhender et conduire au poste de police, aux fins d'identification et d'interrogatoire, toute personne qui contrevient aux dispositions de l'art. 27, selon lequel est interdit tout acte de nature à troubler la tranquillité et l'ordre publics (al. 1). En outre, l'usage de la force devra être proportionné aux circonstances et devra être l'ultime moyen de contrainte (al. 2).
Même autorisé par la loi, l'acte commis dans l'accomplissement d'un devoir de fonction doit être proportionné à son but. Pour respecter la proportionnalité, il faut pondérer les valeurs qui entrent en considération: d'une part, la fin poursuivie par l'agent, d'autre part, les moyens employés pour les réaliser (<ref-ruling> consid. 4a p. 86). Pour être conforme au principe de la proportionnalité visé par les art. 5 al. 2 et 36 al. 3 Cst., une restriction d'un droit fondamental doit être apte à atteindre le but visé (règle de l'aptitude), lequel ne peut pas être obtenu par une mesure moins incisive (règle de la nécessité). Il doit en outre exister un rapport raisonnable entre les effets de la mesure sur la situation de la personne visée et le résultat escompté du point de vue de l'intérêt public (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts; <ref-ruling> consid. 4.5 p. 389; <ref-ruling> consid. 6.7.1 p. 235 s.; <ref-ruling> consid. 3.6 p. 175 s.).
3.4. L'<ref-law> réprime le fait pour un membre d'une autorité ou un fonctionnaire d'abuser des pouvoirs de sa charge dans le dessein de se procurer ou de procurer à un tiers un avantage illicite ou de nuire à autrui. L'infraction suppose que l'auteur agisse dans l'accomplissement ou sous le couvert de sa tâche officielle et qu'il abuse des pouvoirs inhérents à cette tâche. L'abus est réalisé lorsque l'auteur, en vertu de sa charge officielle, décide ou use de contrainte dans un cas où il ne lui est pas permis de le faire (<ref-ruling> consid. 1a/aa p. 211); l'abus est également réalisé lorsque l'auteur poursuit un but légitime mais recourt, pour l'atteindre, à des moyens disproportionnés (<ref-ruling> consid. 1a/aa et b p. 211 ss et les références citées). Du point de vue subjectif, l'infraction suppose un comportement intentionnel, au moins sous la forme du dol éventuel, ainsi qu'un dessein spécial, qui peut se présenter sous deux formes alternatives, soit le dessein de se procurer ou de procurer à un tiers un avantage illicite, soit le dessein de nuire à autrui (arrêts 6B_1351/2017 du 18 avril 2018 consid. 4.2; 6B_1012/2017 du 23 mars 2018 consid. 1.1 et les références citées). Il faut admettre que l'auteur nuit à autrui dès qu'il utilise des moyens excessifs, même s'il poursuit un but légitime. Le motif pour lequel l'auteur agit est ainsi sans pertinence sur l'intention, mais a trait à l'examen de la culpabilité (arrêts 6B_1012/2017 du 23 mars 2018 consid. 1; 6B_923/2015 du 24 mai 2016 consid. 2.2 et les références citées).
3.5. En substance, la cour cantonale a relevé, à titre préalable, qu'il était indubitable que le comportement des policiers intervenus le 3 juin 2016 était à l'origine des lésions subies par le recourant, dont il était fait état dans le constat médical du 7 juin 2016, à tout le moins celles référencées lors de la consultation au CHUV. Il était en outre constant qu'au moment des faits incriminés, les agents B._ et C._ accomplissaient leurs tâches de policiers et étaient détenteurs de la puissance publique. La cour cantonale a retenu qu'il existait un faisceau d'indices concordants permettant de faire peser un doute sérieux sur le récit du recourant et de privilégier de manière convaincante la version des faits des policiers. Selon la cour cantonale, il fallait admettre, avec le ministère public, que les déclarations des agents quant au déroulement des événements étaient manifestement plus crédibles que celles du recourant pour les motifs suivants. Tout d'abord, la plainte du recourant était extrêmement lacunaire s'agissant du déroulement des faits et l'audition de ce dernier ne permettait pas de la compléter. A l'inverse, le rapport d'investigation de la police établi le 3 juin 2016 et la plainte de l'agent B._ du même jour, permettaient de discerner les différentes phases des événements. Il y avait d'abord eu l'appel du recourant à la police, le 3 juin 2016, vers 13h15, pour indiquer qu'une remorque se trouvait sur sa propriété, avec la menace du prénommé de la déplacer sur la route cantonale, lorsque la police lui avait indiqué qu'elle ne pouvait pas intervenir sur le domaine privé. Le même jour, vers 14h35, le Centre d'engagement et transmission avait avisé la police qu'une remorque se trouvait sur la route cantonale, à environ trente mètres de la propriété du recourant. Les agents B._ et C._ s'étaient ensuite rendus au domicile du recourant. Ils avaient rencontré ce dernier sur le parking de sa propriété. Le recourant avait d'emblée reconnu qu'il avait lui-même déplacé la remorque sur la chaussée, ce qu'il n'avait pu faire qu'en l'attelant à un véhicule automobile. Dès lors qu'il était sous le coup d'une mesure administrative, les policiers lui avaient signifié qu'il devait les suivre au poste pour la suite des opérations. Dès ce moment, le recourant avait changé de comportement. Il avait saisi l'épaule droite de l'agent B._ avec sa main gauche, avant de la relâcher ensuite de la demande du policier. Quelques secondes plus tard, lorsque l'agent B._ avait fait remarquer à l'intéressé qu'il ne pouvait pas se comporter de la sorte, le recourant s'était emporté en mentionnant qu'il payait les impôts des deux policiers. Il avait continué à hausser le ton, en indiquant que les deux policiers devaient faire ce qu'il leur demandait, tout en suivant de très près l'agent B._, qui se dirigeait vers le véhicule de service. Le recourant s'était alors emporté et avait menacé l'agent B._ de lui « casser la figure », lui disant qu'il pouvait même le tuer. Toujours dans le même élan, il s'était approché du policier, alors que celui-ci ne pouvait plus reculer, dès lors qu'il était adossé contre l'arrière du véhicule de service, avait appuyé son front contre celui du policier, avait saisi le haut de son pull avec sa main droite et avait appuyé fortement son avant-bras contre la nuque du policier, puis, dans la même action, il avait appuyé son avant-bras droit contre le cou du policier, lui faisant une prise d'étranglement. L'agent B._ avait été contraint de se dégager de cette posture au moyen d'un coup de genou à l'entrejambe et d'une clé de bras. A cet instant, l'agent C._ avait fait usage du spray au poivre, ensuite de quoi le recourant avait été maîtrisé et menotté. Une fois au poste de police, l'intéressé avait continué d'être menaçant, en indiquant vouloir tuer celui qui l'avait sprayé et avait demandé à l'agent B._ de le retrouver, un jour, sur un tatami, pour lui « péter la gueule ». Or, le déroulement des faits tel que décrit, à savoir que le recourant se serait révélé oppositionnel dès le début, et serait ensuite devenu très difficile à gérer, apparaissait nettement plus plausible que la thèse de ce dernier, selon laquelle les agents l'auraient agressé sans aucun motif. Il suffisait pour s'en convaincre de se référer aux déclarations du recourant. Ainsi, entendu par la police le 3 juin 2016, il avait déclaré qu'il n'en avait « rien à foutre » de la remorque, que, comme il n'avait pas eu de réponse de la police, il l'avait déplacée lui-même « avec un hélicoptère » et qu'il avait effectivement dit aux agents qui étaient intervenus qu'il l'avait déplacée lui-même. Il avait ajouté « c'est tout simple, je fais la loi moi-même. C'est comme la journaliste, je lui ai donnée (sic) une claque. [...] Cela fait depuis 2006 que je suis sous retrait, mais c'est pas un bout de papier qui va m'empêcher de conduire une voiture ». Enfin, lorsque les policiers lui avaient indiqué que le magistrat instructeur avait ordonné notamment une prise de sang, le recourant avait déclaré « qu'il aille se faire foutre ». Entendu par le procureur le 4 juin 2016, le recourant avait déclaré qu'il avait appelé les services de police pour leur indiquer qu'il y avait une remorque au milieu de la route et que c'était là qu'il y avait une confusion car les policiers avaient cru que la remorque était chez lui. Il avait ajouté que sans raison un des policiers était arrivé comme un fou en voiture et l'avait directement sprayé au visage. Il avait précisé qu'il avait gesticulé, que les agents avaient ainsi dû croire qu'il les agressait et qu'ensuite, il avait été plaqué au sol, trainé par terre et roué de coups. Selon la cour cantonale, il résultait d'abord des déclarations du recourant qu'il n'avait aucun respect envers les autorités, qu'il était malhonnête, irascible, arrogant et tenait des propos injurieux. Il avait un comportement inadapté et inadéquat et se croyait au-dessus des règles. En outre, ayant d'abord admis avoir déplacé lui-même la remorque de sa propriété jusqu'à la route cantonale et avoir d'emblée dit aux policiers qu'il avait agi de la sorte, il était ensuite revenu sur ses déclarations pour indiquer que la remorque se trouvait déjà sur la route. Il était patent qu'il s'agissait là d'un mensonge, puisque les appels du recourant à la police avaient été enregistrés et que ces enregistrements corroboraient la version des faits des policiers. Il en allait de même du visionnement des images vidéo du poste de police, dont il ne résultait aucune violence commise à l'encontre du prénommé. Enfin, le casier judiciaire du recourant, comportant pas moins de huit condamnations, démontrait, d'une part, son mépris à l'égard des autorités et de l'ordre juridique suisse et, d'autre part, le caractère violent et agressif de l'intéressé, étant relevé qu'il avait déjà été condamné notamment pour extorsion et chantage, voies de fait, injure et menaces. Par ailleurs, il paraissait inconcevable que les policiers concernés se soient livrés à une agression concertée du recourant. Au vu de l'ensemble de ces éléments, la cour cantonale a estimé qu'il y avait lieu de retenir la version des faits des policiers.
3.6. En substance, le recourant soutient que la cour cantonale a retenu que les blessures qu'il avait subies avaient été causées par l'intervention des policiers. La gravité des blessures démontrerait toutefois une intervention violente et brutale qui laisserait planer un doute raisonnable sur son déroulement. Les conséquences de l'intervention semblant dépasser, par leur gravité, la description des agents, une instruction aurait dû être ouverte. Les instances cantonales auraient ainsi violé le principe " in dubio pro duriore " et le droit du recourant à une enquête prompte et impartiale.
Les critiques du recourant portent, en grande partie, sur l'établissement des faits. Pour être recevables, elles doivent permettre de démontrer que l'appréciation de la cour cantonale à cet égard est arbitraire (cf. supra consid. 2). Or, au terme d'une appréciation détaillée des faits et des moyens de preuve, la cour cantonale a estimé qu'il fallait retenir la version des faits telle que décrite par les policiers. Le recourant ne formule aucun grief quant à cette appréciation. Il se contente d'affirmer que la gravité des blessures qu'il a subies démontrerait qu'il existe un doute quant au déroulement de l'intervention. Toutefois, ce seul élément ne permet pas de démontrer que l'appréciation à laquelle a procédé la cour cantonale serait arbitraire. Pour le surplus, la cour cantonale n'a pas retenu la version des faits des policiers, au bénéfice du doute (soit en application du principe " in dubio pro reo "), mais bien parce qu'après une appréciation de l'ensemble des faits et des moyens de preuve, elle a estimé que les faits s'étaient déroulés de la manière décrite par les policiers. Insuffisamment motivé, le grief du recourant est irrecevable.
3.7. Reste à examiner si, fondée sur ces faits, la cour cantonale pouvait retenir que les éléments constitutifs d'une infraction n'étaient manifestement pas réunis (cf. l'<ref-law>).
3.7.1. En substance, la cour cantonale a retenu qu'au vu des appels téléphoniques du recourant et du Centre d'engagement et de transmission, il se justifiait pleinement de se rendre chez le recourant pour l'interpeller, étant relevé qu'il n'avait pas hésité à déposer une remorque sur une route cantonale, comportement dénué de sens et dangereux, uniquement parce qu'il était mécontent que la police ne puisse intervenir sur sa propriété, domaine privé. Dès lors qu'il avait d'emblée admis avoir déplacé cette remorque, respectivement qu'il avait admis avoir conduit un véhicule automobile auquel était attelé la remorque, et qu'il était sous le coup d'un retrait du permis de conduire, il se justifiait de l'emmener au poste de police. Adoptant une attitude d'emblée oppositionnelle, agressive et arrogante, le recourant s'en était pris physiquement et verbalement à un agent de police, allant jusqu'à lui faire une prise d'étranglement, après l'avoir menacé. Pour se dégager de cette situation, étant acculé contre le véhicule de service, l'agent concerné n'avait eu guère d'autre choix que de réagir très rapidement, en donnant un coup de genou à l'entrejambe du recourant et en lui faisant une clé de bras. C'est à ce moment-là que l'autre agent était intervenu pour aider son collègue en difficulté, faisant usage du spray au poivre contre le recourant. Les agents avaient été contraints de maîtriser le recourant et de l'entraver au moyen des menottes.
La cour cantonale a souligné que, d'une part, le coup de genou et la clé de bras que l'agent B._ avait effectués sur le recourant, dont il était notoire qu'il s'agissait de techniques utilisées par la police pour se dégager d'une prise d'étranglement, étaient parfaitement proportionnés aux circonstances, compte tenu du fait que le policier avait l'avant-bras droit du recourant appuyé contre son cou et qu'il était acculé contre le véhicule. Ils visaient uniquement à permettre à cet agent de se dégager d'une prise d'étranglement. D'autre part, l'intervention de l'agent C._ en vue d'aider son collègue à se sortir d'une situation délicate, par l'emploi d'un spray au poivre, apparaissait également pleinement justifiée et tout à fait proportionnée, puisqu'elle était destinée à faire lâcher prise au recourant. Enfin, le fait d'avoir dû utiliser la force pour faire céder une personne oppositionnelle, la maîtriser et l'entraver par des menottes, était, dans les circonstances décrites précédemment, parfaitement proportionnées, vu l'état de tension dans lequel se trouvaient les policiers, dont l'un se faisait agresser.
La cour cantonale a ainsi estimé que le comportement des policiers, couvert par l'<ref-law>, était licite au regard de cette disposition, l'élément subjectif de l'infraction d'abus d'autorité n'étant par ailleurs pas réalisé dans le cas d'espèce, dès lors qu'il n'était nullement établi que par la coercition physique exercée contre le recourant, les deux policiers aient eu l'intention de lui nuire. Il s'ensuivait que l'infraction d'abus d'autorité (<ref-law>) ne saurait être reprochée aux policiers intervenus le 3 juin 2016.
3.7.2. Avec la cour cantonale, il convient d'admettre qu'il se justifiait de se rendre chez le recourant et de l'interpeller, pour les motifs exposés par cette autorité. Pour ce qui est de l'intervention physique à l'égard du recourant, l'agent avait pour but de se protéger contre l'agression du recourant qui, après avoir proféré diverses menaces et s'en être déjà pris physiquement à l'agent, avait plaqué son avant bras sur le cou de celui-ci, qui ne pouvait pas reculer, exerçant ainsi une forme de prise d'étranglement. Dès lors, sur le principe, le fait d'intervenir physiquement à l'égard du recourant apparaît justifié. La cour cantonale a retenu que le comportement des policiers était à l'origine des lésions subies par le recourant. Toutefois, la cour cantonale n'a pas précisé de quel comportement il s'agissait. En particulier, la cour cantonale n'a pas expressément indiqué quel geste des policiers elle estimait être à l'origine de la fracture du bras du recourant. Pour autant que l'on comprenne, il semble qu'elle ait considéré qu'il s'agissait de la clé de bras. Quoi qu'il en soit, quelque soit ce geste, la question de la proportionnalité de la force exercée lors de la manoeuvre des policiers à l'origine des blessures doit être examinée. A cet égard, la cour cantonale n'a pas examiné si une clé de bras (ou tout autre geste fait par les policiers à l'origine des blessures), effectuée selon les règles de l'art, est de nature à causer les blessures en question ou si seule une manoeuvre dont la force dépasserait ce qui est nécessaire, partant qui ne serait pas proportionnée, serait de nature à causer de telles blessures. En l'absence de ces éléments, le Tribunal fédéral ne peut vérifier la bonne application du principe de proportionnalité. A ce stade, on ne saurait exclure que les agents B._ et C._ aient fait un usage disproportionné de la force. En outre, s'agissant de l'infraction d'abus d'autorité, la cour cantonale ne pouvait pas retenir qu'elle n'était pas réalisée en raison de l'absence de dessein de nuire des policiers. En effet, conformément à la jurisprudence, il faut admettre que l'auteur nuit à autrui dès qu'il utilise des moyens excessifs, même s'il poursuit un but légitime (cf. supra consid. 3.4). En définitive, la cour cantonale a violé le droit fédéral en confirmant l'ordonnance de non-entrée en matière du 31 mai 2017.
4.
Il s'ensuit que le recours est admis, dans la mesure où il est recevable. Vu l'état de fait lacunaire, le Tribunal fédéral ne peut pas contrôler la bonne application du droit fédéral. Il convient par conséquent d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité précédente pour qu'elle ordonne au ministère public d'ouvrir une instruction et qu'il procède aux mesures d'instruction nécessaires. Dans une telle configuration, le Tribunal fédéral peut procéder au renvoi sans avoir à ordonner un échange d'écritures préalable avec les personnes potentiellement désignées par le recourant en tant qu'auteurs des infractions (<ref-ruling> consid. 3.4.2 p. 296). Celles-ci n'ont au demeurant pas été interpellées au niveau cantonal et la cour cantonale, respectivement le ministère public, ne manquera pas, le cas échéant, de les solliciter. Le recourant obtient gain de cause. Il ne supporte pas de frais (<ref-law>). Il peut prétendre à de pleins dépens pour la procédure fédérale qui seront mis à la charge du canton de Vaud (<ref-law>). Sa demande d'assistance judiciaire est sans objet (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable. L'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au conseil du recourant une indemnité de 3000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 28 mai 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Livet