Faits :
A.
Par jugement du 16 janvier 2014, le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois a condamné X._ pour lésions corporelles graves par négligence (art. 125 al. 1 et 2 CP), à une peine pécuniaire de 15 jours-amende, le montant du jour-amende étant fixé à 50 fr., avec sursis pendant 2 ans. Il a donné acte à A._ de ses réserves civiles et a mis les frais de la cause à la charge de X._, y compris l'indemnité allouée au conseil d'office de A._.
B.
Par jugement du 26 mai 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance.
Elle a retenu en substance les faits suivants. Le 20 octobre 2010 vers 05h15, X._, accompagné d'un collègue, regagnait son domicile au volant de son véhicule, au terme de sa nuit de travail. A la sortie de la localité de B._, sur la route cantonale en direction de C._, alors qu'il discutait avec son passager, il s'est soudain trouvé en face de A._ qui se tenait debout sur la route avec les bras écartés, et l'a violemment percutée avec son pare-chocs. Cette dernière a basculé contre le pare-brise de l'automobile, avant d'être projetée sur la voie opposée où elle est retombée, grièvement blessée. Au moment des faits, X._ roulait à une vitesse comprise entre 60 et 65 km/h sur un tronçon rectiligne limité à 80 km/h, sans éclairage public et à visibilité étendue. Il n'a pas pu exclure qu'il avait ses feux de route enclenchés. A._, hospitalisée du 20 octobre 2010 au 20 janvier 2011, a souffert d'un polytraumatisme qui a mis sa vie en danger. Les analyses ont démontré qu'elle présentait une alcoolémie de 2.27 grammes pour mille le jour des faits à 07h00.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais, principalement à son acquittement de tous chefs d'accusation retenus contre lui. Subsidiairement, il conclut, avec suite de frais et dépens, à l'annulation du jugement cantonal et au renvoi de la cause à l'autorité précédente. Il sollicite l'assistance judiciaire et requiert en outre que l'effet suspensif soit octroyé au recours.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir établi les faits de manière arbitraire et d'avoir par-là même, violé le principe in dubio pro reo.
1.1. Les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; voir sur cette notion: <ref-ruling> consid. 2.1 p. 18 s. et 138 III 378 consid. 6.1 p. 379). La recevabilité d'un tel grief, ainsi que de tous ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (cf. <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356). Le reproche d'établissement arbitraire des faits se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; <ref-law>; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88).
1.2. Rappelant que l'accident s'était produit de nuit alors qu'il pleuvait, la cour cantonale a établi, se fondant sur les photographies versées au dossier, que le tronçon emprunté était rectiligne avec une visibilité parfaitement dégagée des deux côtés de la route. La voiture avait heurté l'intimée par la gauche dans son sens de marche. Or le côté gauche de la chaussée était bordé d'un trottoir et était dépourvu de tout obstacle qui permettait de masquer un piéton de la vue d'un automobiliste. En outre, la piétonne, qui portait un jeans bleu clair, était visible. La cour cantonale a considéré qu'il n'était pas pertinent de déterminer si, à l'approche du véhicule, celle-ci se trouvait sur le trottoir ou déjà sur la chaussée, dès lors que le recourant avait déclaré ne jamais l'avoir vue avant les deux mètres la séparant de son véhicule. Ainsi, l'hypothèse selon laquelle elle était apparue de nulle part étant invraisemblable, le recourant aurait dû l'apercevoir, soit parce qu'elle se trouvait sur le trottoir ou sur la route. La cour cantonale en a déduit que, s'il n'avait pas vu l'intimée, c'est qu'il n'était pas attentif à la route.
1.3. Il ne sera pas entré en matière sur l'exposé des faits auquel se livre le recourant sans soulever de grief d'arbitraire (cf. <ref-law>; mémoire de recours, p. 3 à 6).
1.4. Le recourant affirme, sans autre développement, qu'il est contradictoire de retenir que la visibilité de la route était étendue alors même qu'il faisait nuit, qu'il pleuvait et que le tronçon était dépourvu d'éclairage public. Il ne conteste toutefois pas avoir enclenché à tout le moins les feux de croisement et circulé sur une route rectiligne dépourvue d'obstacles. En l'absence de critiques circonstanciées, il échoue à démontrer l'arbitraire de la constatation cantonale. Il indique, sur la base d'une photographie versée au dossier, que l'impact a eu lieu à la hauteur d'un virage tournant à gauche. Or s'il ressort des photographies du rapport de police que la voiture s'est arrêtée à l'embouchure d'un virage, les traces marquant la collision (soit notamment les fragments de chair et les débris de phares) se situent en amont, soit sur la partie rectiligne et dégagée du tronçon, de sorte que le grief est infondé sur ce point. En évoquant un doute sur la capacité d'éclairage de ses feux de croisement ou de route, le recourant ne tente pas de démontrer qu'il était insoutenable de retenir une bonne visibilité des lieux (cf. <ref-law>).
Sa critique est également irrecevable en tant qu'il émet un doute sur la position de l'intimée au moment de la collision et affirme qu'elle se serait délibérément jetée sous ses roues, faute de grief d'arbitraire suffisamment motivé (<ref-law>).
Le témoignage de son passager ne lui est d'aucun secours, dès lors que ce dernier a indiqué qu'il ne savait plus exactement où il regardait, tout en précisant qu'il avait tout d'un coup vu une ombre et que l'accident s'était produit. Que ce dernier n'ait pas le souvenir d'avoir vu quelqu'un sur la route ou sur le trottoir ne permet pas pour autant de démontrer le caractère arbitraire des constatations cantonales, au vu des circonstances de l'accident.
En définitive, indépendamment de l'emplacement et de la position de l'intimée à l'approche du véhicule, la cour cantonale pouvait, sans arbitraire, retenir que le recourant était distrait, partant inattentif à la route, dans la mesure où il admettait n'avoir jamais vu la piétonne, vêtue de pantalons clairs, avant les deux mètres la séparant de son véhicule, alors même qu'aucun obstacle ne gênait la visibilité des lieux.
Le comportement de l'intimée et son état alcoolisé ne sont pas de nature à mettre en cause les constatations cantonales relatives à la visibilité des lieux ainsi qu'à l'inattention du recourant. Ces éléments seront toutefois pertinents dans l'examen du rapport de causalité (cf. infra consid. 2.5 ss).
2.
Le recourant invoque une violation de l'<ref-law>. Il soutient d'une part qu'il n'aurait pas commis de négligence, et d'autre part, qu'il n'existerait pas de lien de causalité entre son comportement et les lésions subies par l'intimée ou, qu'à tout le moins, le lien de causalité adéquate aurait été rompu par la faute de celle-ci.
2.1. L'<ref-law> réprime le comportement de celui qui, par négligence, aura causé une atteinte à l'intégrité corporelle ou à la santé d'une personne. La réalisation de cette infraction suppose ainsi la réunion de trois conditions: l'existence de lésions corporelles, une négligence et un lien de causalité entre la négligence et les lésions. La première condition, qui n'est pas contestée, est réalisée, l'intimée ayant été gravement blessée dans l'accident.
Conformément à l'<ref-law>, il y a négligence si, par une imprévoyance coupable, l'auteur a agi sans se rendre compte ou sans tenir compte des conséquences de son acte. La négligence suppose, tout d'abord, que l'auteur ait violé les règles de prudence que les circonstances lui imposaient pour ne pas excéder les limites du risque admissible. En second lieu, la violation du devoir de prudence doit être fautive, c'est-à-dire qu'il faut pouvoir reprocher à l'auteur une inattention ou un manque d'effort blâmable (<ref-ruling> consid. 2.1 p. 64; <ref-ruling> consid. 4.2.3 p. 262 et les références citées). Pour déterminer plus précisément les devoirs imposés par la prudence, on peut se référer à des normes édictées par l'ordre juridique pour assurer la sécurité et éviter les accidents. S'agissant d'un accident de la route, il convient de se référer aux règles de la circulation routière (<ref-ruling> consid. 2a p. 135).
A teneur de l'<ref-law>, le conducteur devra rester constamment maître de son véhicule de façon à pouvoir se conformer aux devoirs de la prudence. L'art. 3 al. 1 OCR précise que le conducteur vouera son attention à la route et à la circulation. Il évitera toute occupation qui rendrait plus difficile la conduite du véhicule. Il veillera en outre à ce que son attention ne soit distraite. Le degré de l'attention requise par l'art. 3 al. 1 OCR s'apprécie au regard des circonstances d'espèce, telles que la densité du trafic, la configuration des lieux, l'heure, la visibilité et les sources de danger prévisibles (<ref-ruling> consid. 3c p. 303 et arrêt cité). L'attention requise du conducteur implique qu'il soit en mesure de parer rapidement aux dangers qui menacent la vie, l'intégrité corporelle ou les biens matériels d'autrui, et la maîtrise du véhicule exige qu'en présence d'un danger, il actionne immédiatement les commandes du véhicule de manière appropriée aux circonstances (arrêt 6B_216/2010 du 11 mai 2010 consid. 5 et les références citées).
Selon l'<ref-law>, la vitesse doit toujours être adaptée aux circonstances, notamment aux particularités du véhicule et du chargement, ainsi qu'aux conditions de la route, de la circulation et de la visibilité. L'art. 4 al. 1 OCR précise notamment que le conducteur ne doit pas circuler à une vitesse qui l'empêcherait de s'arrêter sur la distance à laquelle porte sa visibilité. Cette règle de prudence procède du constat que, la nuit, le risque pour l'automobiliste de rencontrer sur son chemin un obstacle non éclairé n'est pas si minime qu'il puisse en faire abstraction (<ref-ruling> consid. 4a/cc p. 92 ss et les références citées). On peut en déduire, dans une appréciation objective, que le non-respect de la règle de prudence précitée, qui tend précisément à prévenir les conséquences de telles situations, est propre à entraîner une collision, respectivement des lésions corporelles ou le décès du piéton qui n'a pu être vu à temps (arrêts 6B_1023/2010 du 3 mars 2011 consid. 2.1; 6B_439/2009 du 18 août 2009 consid. 1.5.3).
2.2. Laissant indécise la question de savoir avec quel type d'éclairage le recourant circulait au moment de l'accident (feux de croisement ou feux de route), la cour cantonale a considéré qu'en tout état il subsistait une faute de circulation fondant sa négligence. En effet, s'il ne pouvait pas utiliser des feux de route en raison du virage qui s'annonçait, il devait alors réduire sa vitesse de manière à l'adapter aux circonstances (cf. <ref-law> et 4 OCR). Si la vitesse n'était pas inadaptée, il ne pouvait alors que voir l'intimée car il devait pouvoir s'arrêter sur la portion visible de sa trajectoire. S'il n'avait pas pu le faire, c'est qu'il était inattentif, ce en particulier au vu de la configuration des lieux qui offrait une bonne visibilité sur le côté gauche de la route (<ref-law> et 3 OCR).
2.3. Dans la mesure où la cour cantonale n'a pas retenu de faute du recourant en lien avec le type d'éclairage utilisé, son grief sur ce point tombe à faux (mémoire de recours, p. 10).
Compte tenu de l'état de fait cantonal, qui lie le Tribunal fédéral, faute pour le recourant d'en avoir démontré l'arbitraire (cf. art. 105 al. 1 et 106 al. 2 LTF), c'est sans violer le droit fédéral que l'autorité cantonale a retenu que le recourant a violé ses devoirs de prudence dérivant des <ref-law> et 3 al. 1 OCR. En effet, quelle que fût la raison de sa distraction, le recourant n'a pas été en mesure de parer rapidement aux dangers qui menaçaient à tout le moins l'intégrité corporelle de l'intimée, pas plus qu'il n'a actionné les commandes du véhicule de manière à tenter d'éviter le danger, puisqu'il n'a pas même vu l'intimée avant que deux mètres ne les séparent. Ce, alors qu'au vu des circonstances d'espèce, soit l'heure nocturne, la pluie, l'absence d'éclairage public, l'existence d'un trottoir et la proximité d'un virage, le recourant se devait d'être particulièrement attentif.
Quant à la faute imputée au recourant en lien avec la vitesse, c'est en vain qu'il prétend ne pas avoir commis de dépassement de limitation de vitesse, puisque ce n'est pas le comportement qui lui est reproché, mais celui d'avoir violé une règle de prudence tendant à prévenir le risque de rencontrer un obstacle. Cela étant, la cour cantonale n'a pas non plus violé le droit fédéral en retenant, au vu de la collision résultant du fait que l'intimée n'a pu être vue à temps, que le recourant n'a pas respecté les règles de prudence résultant des <ref-law> et 4 al. 1 OCR.
2.4. Le recourant se prévaut du principe de la confiance.
2.4.1. Ce principe, déduit de l'<ref-law>, permet à l'usager, qui se comporte réglementairement, d'attendre des autres usagers, aussi longtemps que des circonstances particulières ne doivent pas l'en dissuader, qu'ils se comportent également de manière conforme aux règles de la circulation, c'est-à-dire ne le gênent pas ni ne le mettent en danger (<ref-ruling> consid. 4a p. 280; <ref-ruling> consid. 3 p. 30; <ref-ruling> consid. 3b p. 175). Seul celui qui s'est comporté réglementairement peut invoquer le principe de la confiance. Celui qui viole des règles de la circulation et crée ainsi une situation confuse ou dangereuse ne peut pas attendre des autres qu'ils parent à ce danger par une attention accrue (<ref-ruling> consid. 2.2.1 p. 285 et les arrêts cités).
2.4.2. Dans la mesure où le recourant a violé les règles de prudence règlementaires, il ne saurait se prévaloir du principe de confiance. En tant qu'il reproche à la cour cantonale de ne pas avoir pris en compte la faute, non établie, de l'intimée, il est rappelé qu'il n'existe pas de compensation des fautes en droit pénal (<ref-ruling> consid. 2c/bb p. 24).
2.5. Il sied enfin d'examiner si, ainsi que le prétend le recourant, le comportement de l'intimée a eu un impact sur le rapport de causalité entre la négligence de ce dernier et les lésions subies.
2.6. Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit. La constatation du rapport de causalité naturelle relève du fait (<ref-ruling> consid. 4.1.3 p. 61). Il y a toutefois violation du droit fédéral si l'autorité cantonale méconnaît le concept même de causalité naturelle (<ref-ruling> consid. 2c/aa p. 23).
Le rapport de causalité peut être qualifié d'adéquat si, d'après le cours ordinaire des choses et l'expérience de la vie, le comportement était propre à entraîner un résultat du genre de celui qui s'est produit (<ref-ruling> consid. 4.1.3 p. 61). La causalité adéquate sera admise même si le comportement de l'auteur n'est pas la cause directe ou unique du résultat. Peu importe que le résultat soit dû à d'autres causes, notamment à l'état de la victime, à son comportement ou à celui de tiers (<ref-ruling> consid. 5.2 p. 148).
La causalité adéquate peut toutefois être exclue si une autre cause concomitante, par exemple une force naturelle, le comportement de la victime ou d'un tiers, constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait s'y attendre. L'imprévisibilité d'un acte concurrent ne suffit pas en soi à interrompre le rapport de causalité adéquate. Il faut encore que cet acte revête une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à l'amener et notamment le comportement de l'auteur (ATF <ref-ruling> consid. 4.4.2 p. 265 s. et les arrêts cités). Il s 'agit là d'une question de droit que la Cour de céans revoit librement (<ref-ruling> consid. 4.1.3 p. 61).
2.7. Retenant que l'accident était survenu peu après la fin d'une localité, sur un tronçon rectiligne reliant une autre localité et bordé d'un trottoir, la cour cantonale a estimé que la présence d'un piéton, le cas échéant en état d'ébriété, de nuit au petit matin, n'avait rien de si exceptionnel permettant de reléguer la faute du recourant à l'arrière-plan.
2.8. En tant que le recourant fonde son argumentation sur sa propre version des faits, à teneur de laquelle l'intimée, fortement alcoolisée, se serait subitement élancée sur la chaussée alors qu'elle se trouvait sur le trottoir, il s'écarte de manière inadmissible de l'état de fait cantonal (cf. art. 105 al. 1 et 106 al. 2 LTF), de sorte que son grief tombe à faux. L'hypothèse selon laquelle l'intimée se serait subitement retrouvée dans son champ de visibilité, surgissant de nulle part, a d'ailleurs été écartée sans arbitraire par la cour cantonale. En tout état, quand bien même cette dernière se serait trouvée inopinément sur la chaussée, l'on ne saurait reprocher à la cour cantonale d'avoir retenu que la présence d'un piéton sur ce tronçon, bordé d'un trottoir, reliant deux localités, peu avant un virage, n'était pas de nature à interrompre le rapport de causalité entre la négligence du recourant et la collision (cf. arrêt 6B_1023/2012 du 3 mars 2011 consid. 3, rendu dans une configuration similaire). L'alcoolémie de l'intimée n'est pas déterminante à cet égard, sauf à expliquer éventuellement sa présence au petit matin sur les lieux de l'accident.
En définitive, c'est sans violer le droit fédéral que la cour cantonale a condamné le recourant pour lésions corporelles graves par négligence.
3.
Le recours doit être rejeté dans le mesure de sa recevabilité. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière. La cause étant ainsi jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Juge présidant : Jacquemoud-Rossari
La Greffière : Boëton