Faits :
A.
Par ordonnance du 19 mai 2017, le Ministère public du canton de Vaud a renoncé à poursuivre X._ pour violation simple des règles de la circulation routière d'une part, ordonné le classement de la procédure pénale dirigée contre A._ pour lésions corporelles graves par négligence en se fondant sur l'<ref-law> d'autre part. Il a également renvoyé X._ à agir devant le juge civil et refusé d'octroyer à A._ une indemnité au sens de l'<ref-law>.
B.
Par arrêt du 12 septembre 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette ordonnance.
En substance, cette autorité a retenu les faits suivants:
- Le 20 octobre 2014, vers 16 h 30, sur la route B._ à C._, A._ circulait au volant de son véhicule automobile, feux de croisements enclenchés, en file, de C._ en direction de D._, à une vitesse d'environ 30 km/h en raison d'un train routier agricole la précédent.
- Peu avant le carrefour de E._, elle a ralenti encore progressivement sa vitesse tout en enclenchant ses indicateurs de direction à gauche, puis a regardé dans le rétroviseur, puis s'est positionnée en ordre de présélection au centre de la chaussée pour rejoindre la route de D._ et se diriger en direction de F._.
- A._ a ensuite obliqué à gauche et franchi la ligne de direction. A ce moment, X._, qui circulait au guidon de son motocycle dans la même direction et qui avait entrepris de dépasser la file de véhicule par la gauche, a heurté l'aile gauche de la voiture d'A._, qui se trouvait déjà sur la voie de circulation opposée.
- Lors du choc, X._ a été désarçonné et a chuté lourdement. Il a été grièvement blessé.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 12 septembre 2017. Il conclut, avec suite de frais et dépens, à son annulation ainsi qu'à celle de l'ordonnance de classement et à ce qu'A._ soit renvoyée en jugement pour lésions corporelles graves par négligence. A titre subsidiaire, il requiert l'annulation de l'arrêt et le renvoi de la cause au ministère public pour instruction complémentaire.

Considérant en droit :
1.
Le recourant invoque des prétentions en tort moral de 20'000 fr. en relation avec les lésions corporelles subies. En ce sens, il faut admettre sa qualité pour recourir selon l'<ref-law>.
2.
Le recourant se plaint d'appréciation incorrecte des preuves, de constatations inexactes des faits et de violation de l'<ref-law>.
2.1. Selon l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure notamment lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a) ou lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b).
La décision de classer la procédure doit être prise en application du principe " in dubio pro duriore ". Ce principe vaut également pour l'autorité judiciaire chargée de l'examen d'une décision de classement. Il signifie qu'en règle générale, un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées). L'autorité de recours ne saurait ainsi confirmer un classement au seul motif qu'une condamnation n'apparaît pas plus probable qu'un acquittement (arrêt 6B_1356/2016 du 5 janvier 2018 consid. 3.3.3, arrêt destiné à la publication).
Déterminer si l'autorité précédente a correctement compris la portée du principe " in dubio pro duriore " et s'est fondée sur une notion juridiquement correcte du " soupçon suffisant " visé par l'<ref-law> est une question de droit, soumis au libre examen du Tribunal fédéral. Le principe " in dubio pro duriore ", en tant que règle de droit, est notamment violé lorsque l'instance précédente a admis dans ses considérants un soupçon suffisant mais, pour des motifs ne concernant pas l'objet du litige et en violation de son pouvoir d'appréciation, n'a pas engagé l'accusation, lorsqu'il ressort des considérants de l'arrêt attaqué que l'autorité précédente a établi l'état de fait comme un juge du fond, en faisant application du principe " in dubio pro reo " ou lorsqu'elle a méconnu de toute autre manière le principe " in dubio pro duriore " (<ref-ruling> consid. 2.3.3 p. 245 ss).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358).
L'établissement de l'état de fait incombe principalement au juge matériellement compétent pour se prononcer sur la culpabilité du prévenu. Le ministère public et l'autorité de recours n'ont dès lors pas, dans le cadre d'une décision de classement d'une procédure pénale, respectivement à l'encontre d'un recours contre une telle décision, à établir l'état de fait comme le ferait le juge du fond. Des constatations de fait sont admises au stade du classement, dans le respect du principe " in dubio pro duriore ", soit dans la mesure où les faits sont clairs, respectivement indubitables, de sorte qu'en cas de mise en accusation ceux-ci soient très probablement constatés de la même manière par le juge du fond. Tel n'est pas le cas lorsqu'une appréciation différente par le juge du fond apparaît tout aussi vraisemblable. Le principe " in dubio pro duriore " interdit ainsi au ministère public, confronté à des preuves non claires, d'anticiper sur l'appréciation des preuves par le juge du fond. L'appréciation juridique des faits doit en effet être effectuée sur la base d'un état de fait établi en vertu du principe " in dubio pro duriore ", soit sur la base de faits clairs (<ref-ruling> consid. 2.3.2 p. 244 et les références citées).
L'<ref-law> est également applicable aux recours en matière pénale contre les décisions de classement ou confirmant de telles décisions. Saisi d'un tel recours, le Tribunal fédéral examine sous l'angle de l'arbitraire l'appréciation des preuves opérée par l'autorité précédente en application du principe " in dubio pro duriore " (<ref-ruling> consid. 2.3.3 p. 245 ss), si l'autorité précédente a arbitrairement jugé la situation probatoire claire ou a admis arbitrairement que certains faits étaient clairement établis. (<ref-ruling> consid. 2.3.2 p. 244 s.).
2.3. L'<ref-law> exige que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2.4 p. 368). En outre, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé de manière précise par le recourant (<ref-law>; <ref-ruling> consid. 1.1 p. 503). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
2.4. Le recourant critique la valeur probante accordée par l'autorité précédente au témoignage de G._, conducteur qui suivait directement le véhicule de l'intimée et qui avait été dépassé par le recourant juste avant la collision. Il n'expose toutefois pas en quoi l'appréciation des preuves opérée par l'autorité précédente et les faits qu'elle en retire, en particulier que l'intimée avait bel et bien enclenché ses indicateurs de direction à gauche avant de tourner (cf. arrêt, p. 8 ch. 2.3.2) seraient arbitraires. Son argumentation, tantôt fondée sur des éléments qui ne ressortent pas du dossier cantonal tantôt appellatoire, est irrecevable. Qu'il n'ait pas été entendu par le ministère public, mais uniquement par la police, ou qu'il n'y ait pas eu de confrontation, circonstances dont le recourant n'apparaît pas s'être plaint devant l'autorité précédente, ne suffit pas à fonder son grief.
2.5. Le recourant conteste que l'intimée ait enclenché ses indicateurs de direction à gauche avant d'obliquer. Ce fait a été retenu par l'autorité précédente sur la base des déclarations de l'intimée et du témoignage de G._. Il ressort également de la déposition de H._, conducteur précédent directement l'intimée lors de la collision (cf. rapport de police, pièce 21, p. 5, auquel se réfère le recourant). L'argumentation du recourant, ici purement appellatoire, est irrecevable.
2.6. Le recourant reproche à l'autorité précédente d'avoir retenu que l'intimée n'avait pas regardé dans ses rétroviseurs avant d'enclencher ses indicateurs de direction à gauche sans en tirer les conséquences qui s'imposent, y voyant une violation par l'intimée de l'<ref-law>. Il soutient qu'il avait déjà dépassé la voiture de G._, était déjà engagé sur la voie de dépassement et pouvait compter que l'intimée qui le précédait directement ne déboiterait pas inopinément.
Ce faisant, le recourant omet une partie des faits retenus par l'autorité précédente sans invoquer ni démontrer l'arbitraire de ces faits. En effet selon l'arrêt attaqué, l'intimée a ralenti et enclenché ses indicateurs de direction à gauche, puis a regardé dans le rétroviseur, puis s'est positionnée en ordre de présélection au centre de la chaussée pour rejoindre la route de D._. Le recourant omet ces deux dernières étapes. Avant de déporter son véhicule vers la gauche, l'intimée a donc regardé dans son rétroviseur. De plus, et tel que cela ressort de l'audition de G._, l'intimée avait déjà déporté son véhicule sur le centre de la chaussée, indicateurs de direction à gauche enclenchés, avant que le recourant ne dépasse G._, conducteur précédent directement l'intimée. On ne saurait dès lors retenir comme le soutient le recourant que celui-ci était déjà " engagé " lorsque l'intimée aurait déboité.
S'agissant enfin de la prétendue brusquerie de la manoeuvre de l'intimée, alléguée par le recourant dans son recours en matière pénale, celle-ci n'avait pas été invoquée devant l'autorité précédente (arrêt attaqué, p. 10), ni constatée par celle-ci. Au vu du déroulement de la manoeuvre de l'intimée, tel que retenu par cette autorité sans que l'arbitraire n'en ait été démontré, il n'était pas insoutenable de ne pas qualifier cette manoeuvre d'inopinée. Le recourant invoque qu'il aurait été sur la voie de dépassement. Sur la route en question, il n'y avait pas à proprement parler de " voie de dépassement ", la route étant uniquement constituée de deux voies en sens contraire.
L'argumentation juridique du recourant, dès lors qu'elle se fonde sur la configuration factuelle ci-dessus écartée, est irrecevable.
2.7. Le recourant invoque le principe de la confiance.
2.7.1. En vertu de ce principe, déduit de l'<ref-law>, l'usager, qui se comporte réglementairement, peut attendre des autres usagers, aussi longtemps que des circonstances particulières ne doivent pas l'en dissuader, qu'ils se comportent également de manière conforme aux règles de la circulation, c'est-à-dire ne le gênent pas ni ne le mettent en danger (<ref-ruling> consid. 1.2.4 p. 505; <ref-ruling> consid. 2.2.2 p. 141). Seul celui qui s'est comporté réglementairement peut invoquer le principe de la confiance. Celui qui viole des règles de la circulation et crée ainsi une situation confuse ou dangereuse ne peut pas attendre des autres qu'ils parent à ce danger par une attention accrue. Cette limitation n'est cependant plus applicable lorsque la question de savoir si l'usager a violé une règle de la circulation dépend précisément de la possibilité qu'il a d'invoquer le principe de la confiance, en d'autres termes, si et dans quelle mesure il pouvait se fonder sur le comportement de l'autre usager (<ref-ruling> consid. 1.2.4 p. 506; <ref-ruling> consid. 2b p. 88).
Le principe de la confiance peut en règle générale être invoqué par le conducteur qui, roulant sur un axe principal, entend obliquer à gauche vers un axe secondaire. Si la situation du trafic le lui permet sans mettre en danger le trafic qui vient de l'arrière, on ne peut lui reprocher d'avoir contrevenu aux règles de la circulation lorsque sa manoeuvre ne compromet en définitive la sécurité du trafic qu'en raison du comportement imprévisible d'un autre usager venant de l'arrière. En l'absence d'indice contraire, celui qui oblique ne doit en particulier pas compter avec l'éventualité d'être surpris par un véhicule survenant à une allure largement excessive, qui entreprend de le dépasser, ou par l'accélération brusque d'un conducteur qui était déjà visible et tente de le dépasser par la gauche. Dans l'intérêt de la sécurité du trafic, on n'admettra cependant pas facilement que le conducteur qui oblique à gauche puisse se fier à l'interdiction de dépasser par ce côté-là qui s'impose aux véhicules qui le suivent, car sa manoeuvre gène la fluidité du trafic et crée une situation de nature à accroître le risque d'accidents en particulier pour les usagers arrivant de l'arrière (ATF <ref-ruling> consid. 2c p. 88, plus récemment arrêt 1B_206/2012 du 29 août 2012 consid. 3.3). La manoeuvre consistant à obliquer à gauche doit en particulier être effectuée avec les plus grandes précautions, parce que les intentions de celui qui oblique, même dûment signalées, peuvent aisément échapper aux autres usagers ou être mal comprises (<ref-ruling> consid. 2a p. 187, plus récemment arrêt 4A_699/2012 du 27 mai 2013 consid. 3.4.2). Néanmoins, lorsque conducteur s'est mis correctement en ordre de présélection et a enclenché son indicateur de direction gauche, il peut - sans être tenu de prêter attention une nouvelle fois, au moment où il oblique, au trafic qui le suit - compter en règle générale qu'aucun usager de la route ne le dépassera illicitement par la gauche (ATF <ref-ruling> consid. 2d p. 89).
2.7.2. En l'espèce, dès lors qu'il s'agit d'examiner le bien-fondé du classement de l'accusation portée contre l'intimée, la question n'est pas de savoir si le recourant pouvait se prévaloir du principe de la confiance, mais si l'intimée le pouvait.
2.7.3. En l'occurrence, la collision a eu lieu à la hauteur d'une bifurcation entre l'axe principal qu'empruntaient les parties et un axe secondaire. Le fait que l'intimée ait voulu tourner vers cet axe secondaire n'était ainsi pas une circonstance que les conducteurs la suivant ne pouvaient prévoir. Ensuite, l'intimée a manifesté son intention de tourner à gauche de trois manières: en ralentissant - alors qu'elle ne roulait déjà pas vite -, en enclenchant les clignotants gauches de son véhicule, comme l'exige l'<ref-law>, puis, après avoir vérifié la circulation la précédent dans son rétroviseur, en positionnant son véhicule en ordre de présélection au centre de la chaussée comme le prescrivent les <ref-law> et 13 OCR. Ce n'est qu'ensuite qu'elle a tourné à gauche et franchi la ligne de direction, instant après lequel la collision est survenue. Ce faisant, l'intimée a clairement manifesté à temps son intention de tourner à gauche et respecté les obligations légales et réglementaires y relatives. Si comme conducteur désirant tourner dans cette direction, l'intimée devait la priorité aux véhicules roulant en sens inverse, elle était en revanche prioritaire par rapport aux conducteurs la suivant: conformément à l'<ref-law> ceux-ci avaient en effet l'interdiction de dépasser un véhicule lorsque son conducteur manifeste son intention d'obliquer à gauche. Au vu des mesures prises par l'intimée avant d'entreprendre d'obliquer à gauche et en l'absence de circonstances particulières, on ne saurait reprocher à l'intimée de n'avoir pas regardé une nouvelle fois dans son rétroviseur, après l'avoir fait une première fois avant de positionner son véhicule en ordre de présélection au centre de la chaussée, pour vérifier que le recourant qui se trouvait lorsqu'elle avait déporté son véhicule sur le centre de la chaussée derrière le véhicule la précédant n'allait pas tout de même tenter un dépassement illicite. Le comportement de l'intimée ne permet ainsi pas de retenir qu'elle aurait manqué d'égard par rapport aux usagers qui la suivaient (art. 26 al. 1 et plus spécifiquement <ref-law>). En l'absence de circonstances particulières, elle pouvait attendre, à la hauteur d'une bifurcation vers un axe secondaire et alors qu'elle avait clairement manifesté son intention de tourner dans cette direction, ce par le ralentissement de son véhicule, l'enclenchement de ses clignotants gauches et, surtout, par le positionnement de son véhicule en ordre de présélection au centre de la chaussée, que les usagers la suivant, dont le recourant, se comportent également de manière conforme à la circulation et ne tentent notamment pas de forcer le passage et de la dépasser néanmoins. Dans ces conditions, il convient de constater que l'intimée a satisfait entièrement à ses obligations de sécurité et de prudence.
2.8. Il s'ensuit que l'autorité précédente n'a pas violé le droit fédéral en niant une négligence et en excluant par conséquent la commission par l'intimée de lésions corporelles graves par négligence. Le classement de l'accusation portée à son encontre ne contrevient pas à l'<ref-law>.
3.
Le recours est rejeté, dans la mesure de sa recevabilité, aux frais du recourant qui succombe.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 16 avril 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod