Faits : A. Par ordonnance du 31 mai 2017, le Ministère public de l'arrondissement de Lausanne a refusé d'entrer en matière sur la plainte déposée par X._ et laissé les frais à la charge de l'Etat. B. Par arrêt du 16 août 2017, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre cette ordonnance. En bref, il ressort de cet arrêt les éléments suivants. B.a. Par courrier non daté mais reçu le 13 juin 2016 par les autorités, X._ a déposé plainte pénale à la suite de l'intervention, sollicitée par ce dernier, le 3 juin 2016, à A._, des agents B._ et C._ de la police municipale de D._. X._ soutenait qu'il aurait téléphoné à la police pour les informer qu'une remorque se trouvait sur la route cantonale. Ensuite de cet appel, deux policiers se seraient rendus sur les lieux, soit devant le domicile de X._. Sans explication, un des agents de police aurait immédiatement sprayé le prénommé. Le second agent l'aurait mis à terre et lui aurait attaché les bras derrière le dos avec des menottes, lui provoquant une fracture du bras. En le mettant à terre, le policier l'aurait en outre blessé au visage et à l'avant-bras. Les deux policiers auraient ensuite emmené X._ au poste, où ils lui auraient refusé l'assistance d'un avocat et d'un médecin, puis l'auraient placé en cellule. Ensuite, un troisième policier serait arrivé, l'aurait sorti de sa cellule, lui aurait attrapé le bras cassé, lui aurait fait une clé d'épaule, lui aurait tordu le bras et l'aurait fait tomber par terre. Un autre policier serait intervenu pour calmer son collègue. Entre 22h30 et 23h00, un médecin serait venu le voir et l'aurait fait immédiatement transférer au CHUV. Le 7 juin 2016, X._ a consulté l'Unité de médecine des violences du Centre universitaire romand de médecine légale. Il résulte du constat médical établi le même jour que le prénommé présentait diverses abrasions cutanées au niveau de la tête, des abrasions cutanées au niveau du dos, plusieurs ecchymoses et abrasions cutanées au niveau du bras et de la main droite, une attelle plâtrée recouverte d'un bandage s'étendant du tiers inférieur du bras gauche jusqu'au poignet, une abrasion cutanée rosée au niveau de la main gauche, une ecchymose et diverses abrasions au niveau de la jambe droite, ainsi qu'un décollement de l'ongle du premier orteil avec présence de sang séché sur sa partie externe et diverses abrasions cutanées au niveau de la jambe gauche. Il ressort en outre de ce constat médical que le 3 juin 2016, X._ a bénéficié d'une consultation au Service des urgences du CHUV. Il présentait alors des douleurs reproductibles à la palpation de la scapula gauche, une limitation de l'amplitude de l'épaule gauche dans toutes les directions en raison des douleurs, une conjonctivite simple bilatérale plus importante à gauche, des dermabrasions superficielles dans la région para-frontale gauche, en regard notamment de l'arcade sourcilière droite et de la pommette droite, et dans la région para-dorsale droite et au niveau des coudes, ainsi qu'une plaie millimétrique au niveau de la face médiale de l'hallux distal droit. Il présentait également une fracture intra-articulaire du capitulum de l'humérus avec quelques petits fragments intra-articulaires. B.b. Dans le cadre du même complexe de faits, l'agent B._ a déposé plainte pénale, le 3 juin 2016, contre X._ lui reprochant en substance de l'avoir agressé. Le casier judiciaire de X._ fait état de huit condamnations pour divers infractions, en particulier des infractions à la LCR telles que conduite en état d'ébriété ou conduite d'un véhicule malgré un retrait du permis de conduire, mais également pour extorsion et chantage, voies de fait, menaces et injure. Par ordonnance pénale du 12 juin 2017, notamment en raison des faits ayant eu lieu le 3 juin 2016, le ministère public a condamné X._ à 6 mois de peine privative de liberté, sous déduction d'un jour d'arrestation provisoire, et à une amende de 300 fr., convertible en 3 jours de peine privative de liberté de substitution en cas de non-paiement dans le délai qui serait imparti, pour entrave à la circulation publique, violence ou menace contre les autorités et les fonctionnaires, conduite en état d'ébriété, tentative d'entrave aux mesures de constatation de l'incapacité de conduire, entrave aux mesures de constatation de l'incapacité de conduire et conduite sans autorisation. Le 23 juin 2017, X._ a formé opposition contre cette ordonnance pénale. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 16 août 2017. Il conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué en ce sens que l'ordonnance de non-entrée en matière du 31 mai 2017 est annulée et une instruction ouverte, subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il requiert par ailleurs l'octroi de l'assistance judiciaire.