Faits :
A.
Le 3 avril 2014, X._ a déposé plainte pénale contre A._. Il lui reproche de ne pas lui avoir accordé la priorité alors qu'elle était au volant de sa voiture, et de l'avoir heurté alors qu'il traversait l'avenue B._ sur un passage protégé. X._ a souffert d'une fracture à haute énergie sous-capitale de l'humérus à droite avec gros fragment postérieur dans la diaphyse humérale et dislocation de la diaphyse vers le creux axillaire, d'une fracture du corps de l'omoplate gauche et d'une fracture du mur antérieur du cotyle gauche. A._ a déclaré que le plaignant, qui se trouvait déjà sur le trottoir, serait tombé sur la chaussée après avoir été déséquilibré pour une raison inconnue, qu'il serait entré en contact, dans sa chute, avec sa voiture et qu'elle n'était pas parvenue à éviter le choc.
Par ordonnance du 7 avril 2016, le Ministère public de l'arrondissement de Lausanne a ordonné le classement de la procédure pénale dirigée contre A._ pour lésions corporelles simples par négligence, lui a alloué, à la charge de l'Etat, une indemnité de 2'144 fr. 90 au titre de l'exercice raisonnable de ses droits de défense et a laissé les frais de procédure à la charge de l'Etat. Il a considéré que l'expertise médicale réalisée ne permettait pas d'exclure l'hypothèse d'une chute en arrière débutant juste avant l'impact d'un véhicule contre l'épaule droite. De plus, la passagère du véhicule, entendue par la police, avait confirmé la version de la chute. Faute d'autre témoin oculaire, aucune mesure d'instruction n'était en mesure de départager les versions irrémédiablement contradictoires des parties.
B.
Par arrêt du 28 avril 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre l'ordonnance précitée.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 28 avril 2016. Il conclut, avec suite de dépens, à sa modification en ce sens que l'ordonnance de classement est annulée et la cause renvoyée au Ministère public de l'arrondissement de Lausanne pour complément d'instruction.
D.
Invités à se déterminer, la cour cantonale et le Ministère public y ont renoncé et se sont référés aux considérants de la décision attaquée. L'intimée a pris position et a conclu au rejet du recours, sous suite de frais et dépens à la charge du recourant. Ces déterminations ont été communiquées au recourant.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO (<ref-ruling> consid. 1.1 p. 4).
Selon l'art. 42 al. 1 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. art. 119 al. 2 let. b CPP), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. art. 320 al. 3 CPP). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au Ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s. et les arrêts cités).
1.2. En l'espèce, le recourant a participé à la procédure cantonale en tant que partie plaignante. Il allègue que l'ordonnance de classement a une incidence sur les prétentions civiles qu'il pourrait faire valoir à l'encontre de l'intimée. Dans le cas particulier, bien que le recourant n'ait pas chiffré même approximativement ses prétentions civiles, il apparaît d'emblée, au vu des nombreuses lésions subies telles qu'elles ressortent des attestations médicales, que la décision de classement est, en soi, de nature à influencer négativement le jugement des prétentions en réparation du dommage et du tort moral que le recourant pourrait élever à l'encontre de l'intimée du chef de lésions corporelles par négligence. Cela suffit, au stade de la recevabilité, pour reconnaître au recourant la qualité pour recourir au sens de l'art. 81 al. 1 let. b ch. 5 LTF (<ref-ruling> consid. 1.1 p. 4).
2.
Le recourant se plaint d'une violation de l'interdiction de l'arbitraire et du principe " in dubio pro duriore " en lien avec l'application de l'art. 319 CPP. En substance, il reproche à l'autorité précédente d'avoir violé l'art. 319 al. 1 CPP en s'écartant des conclusions de l'expertise médico-légale.
2.1. Selon l'art. 319 al. 1 CPP, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a), lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b), lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c), lorsqu'il est établi que certaines conditions à l'ouverture de l'action pénale ne peuvent pas être remplies ou que des empêchements de procéder sont apparus (let. d) ou lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales (let. e). L'art. 319 al. 2 CPP prévoit encore deux autres motifs de classement exceptionnels (intérêt de la victime ou consentement de celle-ci).
Le principe " in dubio pro duriore " découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.1 - 4.1.2 p. 90 s.; arrêt 6B_551/2015 du 24 février 2016 consid. 3). Le principe " in dubio pro duriore " exige donc simplement qu'en cas de doute, la procédure se poursuive. En effet, en cas de doute, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer. Au stade de la mise en accusation, le principe " in dubio pro reo ", relatif à l'appréciation de preuves par l'autorité de jugement, ne s'applique donc pas. C'est au contraire la maxime " in dubio pro duriore " qui impose, en cas de doute, une mise en accusation. Ce principe vaut également pour l'autorité judiciaire chargée de l'examen d'une décision de classement (<ref-ruling> consid. 4.1.1 p. 91).
2.2. L'autorité précédente a considéré que les soupçons étaient insuffisants pour prononcer la mise en accusation de l'intimée. Le procureur était fondé à retenir, au vu des déclarations de la prévenue et de sa soeur, passagère du véhicule, que le recourant avait chuté en arrière juste avant l'impact du véhicule contre son épaule droite, car selon l'expertise médico-légale cette hypothèse ne pouvait pas être exclue.
2.3. Au vu des déclarations contradictoires des parties sur les circonstances de l'accident, une mission d'expertise a été mise en oeuvre pour déterminer, sur la base des lésions que présentait le recourant, l'hypothèse la plus probable s'agissant de savoir si le recourant avait été heurté frontalement en traversant la chaussée (question 3), s'il avait été heurté frontalement après avoir été déséquilibré vers l'arrière (question 4) ou s'il se trouvait déjà allongé sur le sol au moment du choc entre le véhicule et lui-même (question 5) et quelle était l'hypothèse la plus probable si les lésions étaient compatibles avec les trois hypothèses (question 6). Après avoir écarté l'hypothèse présentée à la question 5, les experts ont considéré que la version avancée par le recourant, à savoir un impact contre le membre supérieur droit, suivi d'une chute sur la chaussée, était celle qui expliquait à la fois la localisation, le type de lésions et les dégâts sur le véhicule, l'hypothèse d'un heurt au niveau de l'épaule droite lors d'une chute ne pouvant toutefois pas être totalement exclue. En réponse à la question posée de l'hypothèse la plus probable, les experts ont déclaré que l'hypothèse correspondant à la version du recourant était la seule qui soit entièrement compatible avec le tableau lésionnel et avec les dégâts sur la voiture. Il n'était toutefois pas possible de formellement exclure l'hypothèse émise par l'intimée.
2.4. S'il est exact que les experts n'ont exclu aucune version, ils ont exposé les motifs pour lesquels seule la version du recourant était entièrement compatible avec le tableau lésionnel, répondant ainsi à la question qui leur était posée de déterminer la variante la plus probable des trois avancées. Il découle clairement de cette expertise qu'un doute subsiste sur la responsabilité pénale de l'intimée dans cet accident qui doit conduire à la poursuite de la procédure. En privilégiant la version de l'intimée au motif qu'elle n'avait pas été exclue par les experts plutôt que celle du recourant pour en conclure que les soupçons étaient insuffisants, la cour cantonale a retenu implicitement, la version la plus favorable à la prévenue. Or, au stade du classement, une telle application du principe " in dubio pro reo " ne se justifie pas. La cour cantonale a fait une fausse application du principe " in dubio pro duriore " en procédant en réalité à une appréciation des preuves qui relève de la compétence du juge du fond.
3.
Le recours est admis. L'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants. Les frais judiciaires seront mis pour moitié à la charge de l'intimée qui a conclu au rejet du recours, le canton de Vaud n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre à une indemnité de dépens, à la charge pour moitié chacun, d'une part, du canton de Vaud et, d'autre part, de l'intimée (art. 68 al. 1 et 2 LTF). L'intimée ne saurait ainsi obtenir des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de A._.
3.
Une indemnité de 3000 fr., à verser au recourant à titre de dépens, est mise pour moitié à la charge du canton de Vaud et pour moitié à la charge de l'intimée.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 10 mars 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy