Faits : A. Par jugement du 16 janvier 2014, le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois a condamné X._ pour lésions corporelles graves par négligence (art. 125 al. 1 et 2 CP), à une peine pécuniaire de 15 jours-amende, le montant du jour-amende étant fixé à 50 fr., avec sursis pendant 2 ans. Il a donné acte à A._ de ses réserves civiles et a mis les frais de la cause à la charge de X._, y compris l'indemnité allouée au conseil d'office de A._. B. Par jugement du 26 mai 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance. Elle a retenu en substance les faits suivants. Le 20 octobre 2010 vers 05h15, X._, accompagné d'un collègue, regagnait son domicile au volant de son véhicule, au terme de sa nuit de travail. A la sortie de la localité de B._, sur la route cantonale en direction de C._, alors qu'il discutait avec son passager, il s'est soudain trouvé en face de A._ qui se tenait debout sur la route avec les bras écartés, et l'a violemment percutée avec son pare-chocs. Cette dernière a basculé contre le pare-brise de l'automobile, avant d'être projetée sur la voie opposée où elle est retombée, grièvement blessée. Au moment des faits, X._ roulait à une vitesse comprise entre 60 et 65 km/h sur un tronçon rectiligne limité à 80 km/h, sans éclairage public et à visibilité étendue. Il n'a pas pu exclure qu'il avait ses feux de route enclenchés. A._, hospitalisée du 20 octobre 2010 au 20 janvier 2011, a souffert d'un polytraumatisme qui a mis sa vie en danger. Les analyses ont démontré qu'elle présentait une alcoolémie de 2.27 grammes pour mille le jour des faits à 07h00. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais, principalement à son acquittement de tous chefs d'accusation retenus contre lui. Subsidiairement, il conclut, avec suite de frais et dépens, à l'annulation du jugement cantonal et au renvoi de la cause à l'autorité précédente. Il sollicite l'assistance judiciaire et requiert en outre que l'effet suspensif soit octroyé au recours.