Faits : A. Par ordonnance du 19 mai 2017, le Ministère public du canton de Vaud a renoncé à poursuivre X._ pour violation simple des règles de la circulation routière d'une part, ordonné le classement de la procédure pénale dirigée contre A._ pour lésions corporelles graves par négligence en se fondant sur l'art. 319 al. 1 let. a CPP d'autre part. Il a également renvoyé X._ à agir devant le juge civil et refusé d'octroyer à A._ une indemnité au sens de l'art. 429 CPP. B. Par arrêt du 12 septembre 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette ordonnance. En substance, cette autorité a retenu les faits suivants: - Le 20 octobre 2014, vers 16 h 30, sur la route B._ à C._, A._ circulait au volant de son véhicule automobile, feux de croisements enclenchés, en file, de C._ en direction de D._, à une vitesse d'environ 30 km/h en raison d'un train routier agricole la précédent. - Peu avant le carrefour de E._, elle a ralenti encore progressivement sa vitesse tout en enclenchant ses indicateurs de direction à gauche, puis a regardé dans le rétroviseur, puis s'est positionnée en ordre de présélection au centre de la chaussée pour rejoindre la route de D._ et se diriger en direction de F._. - A._ a ensuite obliqué à gauche et franchi la ligne de direction. A ce moment, X._, qui circulait au guidon de son motocycle dans la même direction et qui avait entrepris de dépasser la file de véhicule par la gauche, a heurté l'aile gauche de la voiture d'A._, qui se trouvait déjà sur la voie de circulation opposée. - Lors du choc, X._ a été désarçonné et a chuté lourdement. Il a été grièvement blessé. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 12 septembre 2017. Il conclut, avec suite de frais et dépens, à son annulation ainsi qu'à celle de l'ordonnance de classement et à ce qu'A._ soit renvoyée en jugement pour lésions corporelles graves par négligence. A titre subsidiaire, il requiert l'annulation de l'arrêt et le renvoi de la cause au ministère public pour instruction complémentaire.