Faits :
A.
Par jugement du 1er février 2019, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu A._ coupable d'homicide par négligence et l'a condamné à une peine pécuniaire de 75 jours-amende à 50 fr. le jour, avec sursis pendant deux ans. A._ a été condamné à verser aux parents de D.B._ des indemnités à titre de dommages et intérêts ainsi qu'en réparation du tort moral subi.
B.
Par jugement du 2 octobre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel formé par A._ contre le jugement de première instance concernant la quotité de la peine, qu'elle a ramenée à 30 jours-amende à 50 fr. le jour, avec sursis pendant deux ans. Elle l'a rejeté pour le surplus. Les appels joints des parents de D.B._ ont été rejetés.
En substance, le jugement cantonal repose sur les faits suivants.
B.a. Le 31 décembre 2016 au soir, D.B._, né en 1995, a quitté son domicile à Pully et s'est rendu en bus chez E._, domicilié à F._, rue G._, pour y passer le réveillon avec des amis. Lors de cette soirée, il a consommé de l'alcool. Vers 3h30, D.B._, qui présentait alors un taux d'alcool compris entre 1.99 g/kg et 2.86 g/kg a quitté le domicile de E._ pour rentrer chez lui à pied, en traversant un bois sur quelque 100 mètres pour rejoindre la route principale de Lausanne à Bulle.
A._ a terminé son service en qualité de maître d'hôtel à Lausanne le 1er janvier 2017 vers 2h00, puis il a fêté la nouvelle année avec son équipe. Peu avant 3h30, il s'est mis au volant de son véhicule automobile pour rentrer chez lui à H._.
A Savigny, sur la route principale de Lausanne à Bulle, au lieu-dit Publoz, le 1er janvier 2017, vers 3h45, après un panneau indiquant la fin de la limitation de vitesse à 60 km/h, alors qu'il circulait au volant de sa voiture à une vitesse comprise entre 70 et 75 km/h, feux de croisement enclenchés, sur un tronçon rectiligne et humide qui était dépourvu d'éclairage public, A._ a aperçu seulement tardivement D.B._, qui portait des vêtements sombres et qui se trouvait debout sur la partie gauche de sa voie de circulation. A._ a alors freiné, heurtant quasiment simultanément D.B._ - qui était de dos - à la face postérieure de la jambe droite. Ce dernier a chuté sur le véhicule et a été emporté sur une distance de 27 mètres, avant d'être projeté au sol. A._ a immobilisé sa voiture sur la partie droite de la chaussée et s'est immédiatement rendu auprès de D.B._ pour lui porter secours.
Cette nuit-là, des nappes de brouillard étaient présentes par intermittence. Au moment des faits, la visibilité était bonne et il n'y avait pas de bro uillard à l'endroit où l'accident s'est produit.
B.b. Après l'intervention des secours, D.B._ a été acheminé au CHUV où sa mort cérébrale a été constatée le 2 janvier 2017.
Dans son rapport du 21 mars 2018, le Centre universitaire romand de médecine légale (ci-après: CURML) a conclu que le décès de D.B._ était la conséquence d'un traumatisme cranio-cérébral sévère. L'analyse de l'ensemble des données a permis au CURML de conclure que la collision s'était probablement produite entre l'avant gauche de la voiture et l'arrière de la victime, laquelle était debout lors de l'accident.
La police a établi un rapport préalable le 1er janvier 2017 puis un autre rapport le 7 avril 2017. Durant l'intervention de la police sur les lieux de l'accident, le brouillard était présent par intermittence. La police cantonale a établi un cahier technique contenant notamment un cahier de photographies de la route sur laquelle circulait A._, du lieu de l'accident et de la voiture du prénommé, des vues scanner 3D et des relevés techniques. Les photographies montrent une route cantonale rectiligne dépourvue d'éclairage public, de trottoir et de passage piéton, bordée d'un côté par une forêt la surplombant et de l'autre par une zone industrielle située en contrebas d'un talus et délimitée par une barrière.
B.c. Le casier judiciaire suisse de A._ fait état d'une condamnation à une peine pécuniaire de 25 jours-amende avec sursis et à une amende, prononcée le 28 mars 2013 par le ministère public de l'arrondissement de Lausanne, pour conduite en état d'incapacité de conduire (taux d'alcool qualifié).
Selon l'extrait de son fichier ADMAS, A._ a fait l'objet de sept mesures administratives en matière de circulation routière entre 2002 et 2013, à savoir deux avertissements pour vitesse excessive, deux avertissements pour conduite en état d'ébriété, deux retraits de permis de conduire d'une durée d'un mois pour vitesse excessive et un retrait de permis de conduire d'une durée de quatre mois pour conduite en état d'ébriété qualifié.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral et conclut, avec suite de frais et dépens, à sa libération du chef d'accusation d'homicide par négligence et au renvoi des parents B._ au for civil pour faire valoir leurs prétentions civiles. Subsidiairement, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la cour cantonale pour nouvelle décision.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir constaté les faits de manière manifestement inexacte s'agissant des conditions de visibilité, de sa connaissance des lieux, de la position de la victime avant l'accident et du trajet qu'elle a emprunté. Il invoque l'arbitraire dans l'établissement des faits.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
1.2. A l'instar des premiers juges, la cour cantonale a retenu que l'accident a eu lieu en hiver, de nuit, sur une route mouillée non éclairée et que la visibilité était bonne. Elle a constaté que la visibilité était suffisamment bonne pour permettre au recourant, qui roulait avec ses feux de croisement, de commencer à accélérer après avoir passé le panneau de fin de limitation de vitesse à 60 km/h posé à la sortie de La Claie-aux-Moines. Elle a relevé que le recourant avait tout d'abord déclaré à la police que les conditions atmosphériques étaient bonnes, que la visibilité était étendue, qu'il n'y avait pas de brouillard et que le piéton était apparu de nulle part (PV d'audition n° 1), puis il avait indiqué au Procureur qu'il avait de la visibilité, qu'il y avait des moments où il y avait de la brume par endroits et qu'au moment de l'accident, il ne se trouvait pas à un endroit où il y avait du brouillard et qu'il n'avait vu le piéton qu'au moment du choc (PV d'audition n° 5). Aux débats de première instance, le recourant a déclaré qu'il y avait des nappes de brouillard, mais pas au moment du choc et qu'il avait vu une forme noire juste avant le choc, ce qu'il a confirmé à l'audience d'appel, précisant qu'il y avait des nappes de brouillard éparses, mais pas au lieu de l'accident, et qu'une forme noire était apparue devant lui une fraction de seconde avant le choc.
1.3.
1.3.1. Le recourant soutient que dans les 50 mètres précédent le lieu de l'accident, la visibilité était mauvaise, en raison des nappes de brouillard. Il reproche à la cour cantonale de n'avoir constaté la visibilité qu'au lieu et au moment de l'accident.
Or la cour cantonale a relevé les différentes déclarations du recourant sur les conditions de visibilité prévalant sur l'ensemble du tronçon ainsi que les divergences entre sa première version livrée à la police, dont il ressort que la visibilité était étendue et qu'il n'y avait pas de brouillard, et sa dernière déclaration devant la cour cantonale à teneur de laquelle il y avait des nappes de brouillard éparses. Les juges précédents se sont également référés aux déclarations du témoin - arrivé une à deux minute (s) après l'accident - à teneur desquelles il y avait peu de brouillard et les nappes de brouillard apparaissaient par moments. Elle en a déduit que la visibilité était suffisamment bonne pour permettre au recourant, qui roulait avec les feux de croisement, de commencer à accélérer au panneau de fin de limitation de vitesse à 60 km/h. Aussi, si la cour cantonale a constaté qu'il n'y avait pas de brouillard à l'endroit de l'accident et que la visibilité était bonne, elle ne s'est pas limitée au seul examen des conditions de visibilité au moment précis de l'accident mais également des secondes entourant le choc et du tronçon le précédant. Cela étant, la cour cantonale n'a pas ignoré les déclarations faites par le recourant aux débats de première et seconde instance relatives à l'existence de nappes de brouillard, mais a considéré qu'elles n'entravaient pas la visibilité sur le tronçon en cause.
Pour asseoir son argumentation selon laquelle la visibilité était mauvaise dans les dizaines de mètres précédant le choc, le recourant se prévaut de sa faible accélération, de sa vitesse et de l'usage des feux de croisement. Or il échoue à démontrer l'arbitraire de la constatation cantonale relative à la visibilité, au motif qu'il aurait choisi d'enclencher les feux de croisement plutôt que les feux de route. En tant que le recourant reproche à la cour cantonale d'avoir omis de retenir que les conditions de visibilité n'étaient pas suffisamment bonnes pour lui permettre de circuler à une vitesse de 80 km/h et qu'il affirme n'avoir procédé qu'à une très légère accélération après le panneau de limitation de vitesse pendant une durée indéterminée, au motif qu'il y avait du brouillard, il procède de manière appellatoire et substitue sa propre appréciation de ses déclarations à celle de la cour cantonale, étant relevé qu'il n'a rien déclaré de tel lors de ses précédentes auditions.
En tout état, au vu de la configuration des lieux et des différentes déclarations (du recourant et du témoin) la cour cantonale pouvait, sans arbitraire, retenir que le recourant n'aurait pas accéléré à 70 voire 75 km/h après avoir passé le panneau de fin de limitation de vitesse (à 60 km/h) en présence d'un brouillard entravant la visibilité sur la chaussée à quelques dizaines de mètres de l'impact, respectivement, exclure que les conditions de visibilité auraient notablement varié sur les 50 mètres précédant l'accident.
1.3.2. Le recourant affirme de manière purement appellatoire, partant irrecevable, qu'il connaissait particulièrement bien les lieux et qu'il n'avait jamais croisé le moindre piéton à cet endroit. En tout état, ces éléments ne sont pas propres à modifier la décision entreprise dans la mesure où il convient d'apprécier les circonstances concrètes au moment de l'accident (cf. infra consid. 2.2.1) et non celles dont le recourant prétend avoir l'habitude.
Savoir si le trajet emprunté par la victime était illogique n'est pas déterminant, contrairement à l'emplacement concret de celle-ci ou sa position, de sorte qu'il n'y a pas lieu d'examiner les critiques de fait du recourant sur ce point.
1.3.3. Le recourant prétend qu'il n'est pas exclu que, les secondes précédant le choc, la victime eût été dans une autre position (couchée, accroupie ou agenouillée) que celle dans laquelle elle était au moment d'être percutée, ou qu'elle eût couru dans sa direction pour se retourner par réflexe. Ce faisant, il se contente de pures conjectures qui ne permettent pas de démontrer l'arbitraire dans la constatation - fondée notamment sur le rapport d'autopsie - selon laquelle la victime était debout en direction de Savigny au moment de l'accident et a été heurtée à la face postérieure de la jambe droite.
1.3.4. Le recourant reproche à la cour cantonale de ne pas avoir retenu que la victime était invisible, du fait de son habillement. Or la cour cantonale n'a pas ignoré les détails vestimentaires de la victime qu'elle a décrits dans son jugement. Le recourant ne démontre pas en quoi les précisions supplémentaires qu'il fournit en lien avec l'habillement de la victime auraient été arbitrairement ignorées par la cour cantonale qui a retenu en substance que la victime portait une tenue sombre. Quant à la conclusion qu'en tire le recourant, à savoir que la victime était invisible, elle relève de sa pure appréciation, démentie par les constatations cantonales selon lesquelles la visibilité était suffisamment bonne pour que le recourant puisse apercevoir la victime, alors debout sur la chaussée, quand bien même elle était vêtue d'habits foncés (notamment un long manteau noir).
1.3.5. En définitive, le recourant échoue à démontrer l'arbitraire dans l'établissement des faits et l'appréciation des preuves, respectivement, une violation du principe in dubio pro reo. Son grief doit être rejeté dans la mesure où il est recevable.
2.
Le recourant conteste sa condamnation pour homicide par négligence.
2.1. Aux termes de l'<ref-law>, celui qui, par négligence, aura causé la mort d'une personne sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. Selon l'<ref-law>, agit par négligence quiconque, par une imprévoyance coupable, commet un crime ou un délit sans se rendre compte des conséquences de son acte ou sans en tenir compte. L'imprévoyance est coupable quand l'auteur n'a pas usé des précautions commandées par les circonstances et par sa situation personnelle.
Une condamnation pour homicide par négligence nécessite la réalisation de trois éléments constitutifs, à savoir le décès d'une personne, une négligence, ainsi qu'un rapport de causalité naturelle et adéquate entre les deux premiers éléments (<ref-ruling> consid. 3 p. 147; cf. arrêt 6B_704/2018 du 2 novembre 2018 consid. 4.1).
2.2. Le recourant conteste avoir commis une négligence et violé ses devoirs imposés par la prudence.
2.2.1. Deux conditions doivent être remplies pour qu'il y ait négligence. En premier lieu, il faut que l'auteur viole les règles de la prudence, c'est-à-dire le devoir général de diligence institué par la loi pénale, qui interdit de mettre en danger les biens d'autrui pénalement protégés contre les atteintes involontaires. Un comportement dépassant les limites du risque admissible viole le devoir de prudence s'il apparaît qu'au moment des faits, son auteur aurait dû, compte tenu de ses connaissances et de ses capacités, se rendre compte de la mise en danger d'autrui. Pour déterminer le contenu du devoir de prudence, il faut donc se demander si une personne raisonnable, dans la même situation et avec les mêmes aptitudes que l'auteur, aurait pu prévoir, dans les grandes lignes, le déroulement des événements et, le cas échéant, quelles mesures elle pouvait prendre pour éviter la survenance du résultat dommageable. Lorsque des prescriptions légales ou administratives ont été édictées dans un but de prévention des accidents, ou lorsque des règles analogues émanant d'associations spécialisées sont généralement reconnues, leur violation fait présumer la violation du devoir général de prudence. En second lieu, la violation du devoir de prudence doit être fautive, c'est-à-dire qu'il faut pouvoir reprocher à l'auteur une inattention ou un manque d'effort blâmable (<ref-ruling> consid. 2.1 p. 158; <ref-ruling> consid. 2.1 p. 64 et références citées).
S'agissant d'un accident de la route, il convient de se référer aux règles de la circulation routière (<ref-ruling> consid. 2.1 p. 140; <ref-ruling> consid. 2a p. 135).
L'<ref-law> prescrit que le conducteur devra rester constamment maître de son véhicule de façon à pouvoir se conformer aux devoirs de la prudence. Cela signifie qu'il doit être à tout moment en mesure de réagir utilement aux circonstances (arrêts 6B_1300/2019 du 11 février 2020 consid. 1.3; 6B_221/2018 du 7 décembre 2018 consid. 2.2). L'art. 3 al. 1 de l'ordonnance sur les règles de la circulation routière (OCR; RS 741.11) précise notamment que le conducteur vouera son attention à la route et à la circulation. Le degré de l'attention requise par l'art. 3 al. 1 OCR s'apprécie au regard des circonstances d'espèce, telles que la densité du trafic, la configuration des lieux, l'heure, la visibilité et les sources de danger prévisibles (<ref-ruling> consid. 3.6 p. 295 et les références citées; arrêt 6B_1300/2019 du 11 février 2020 consid. 1.3).
2.2.2. La cour cantonale a retenu que le recourant a fait preuve d'une inattention de plusieurs secondes contraire aux <ref-law> et 3 al. 1 OCR. S'il avait voué toute l'attention que l'on pouvait attendre de lui à la route, il aurait pu voir suffisamment tôt la victime qui se trouvait debout, ce qui lui aurait permis de freiner et de dévier sa trajectoire pour tenter d'éviter le choc.
En définitive, elle a retenu que le recourant n'est pas resté constamment maître de son véhicule de façon à pouvoir se conformer aux devoirs de la prudence et qu'il a fait preuve d'une inattention fautive.
2.2.3. Compte tenu des circonstances du cas d'espèce, dont l'arbitraire n'a pas été démontré, impliquant un véhicule sur un tronçon rectiligne à la sortie d'une zone limitée à 60 km/h, la nuit du réveillon, la visibilité étant bonne, il pouvait être attendu du recourant - qui avait travaillé de nuit et rentrait à une heure tardive -, qu'il voue toute son attention à la route et garde la maîtrise de son véhicule de sorte à éviter un obstacle sur sa propre voie de circulation. En tant que le recourant conteste avoir fait preuve d'inattention, son grief repose sur son appréciation des faits tels qu'ils auraient dû être retenus, selon lui, par la cour cantonale. Dans cette mesure, sa critique est vaine, les circonstances de l'accident ayant été établies sans arbitraire. Ainsi, c'est en vain que le recourant rediscute les conditions de visibilité en faisant valoir qu'elles n'étaient pas définies. En tout état, il ressort de l'audition du témoin arrivé une à deux minute (s) après l'accident, dont se prévaut le recourant en lien avec la visibilité, que l'attention du premier avait été retenue par une masse sombre étendue au sol, le conducteur ayant pu faire une manoeuvre d'évitement subite (PV d'audition n° 4, réponse 7; cf. jugement entrepris consid. 4.3.3 p. 18; mémoire de recours p. 7 s.). Il résulte de ce qui précède que la cour cantonale pouvait, sans violer le droit fédéral, retenir qu'en vouant toute l'attention que l'on pouvait attendre de lui à la route, le recourant aurait pu apercevoir la victime et freiner ou dévier sa trajectoire pour tenter d'éviter le choc.
Le recourant ne saurait rien déduire en sa faveur de la règle selon laquelle le conducteur doit avant tout porter attention, outre sur sa propre voie de circulation, sur les dangers auxquels on doit s'attendre et peut ne prêter qu'une attention secondaire à d'éventuels comportements inhabituels ou aberrants (cf. <ref-ruling> consid. 2c p. 228; arrêt 6B_69/2017 du 28 novembre 2017 consid. 2.2.1), dans la mesure où, en l'espèce, le danger se présentait précisément sur sa propre voie et dans son sens de circulation, sur lesquels il devait porter toute son attention.
Pour le surplus, c'est en vain que le recourant prétend avoir fait preuve de toute la prudence recommandée en roulantentre 70 et 75 km/h sur un tronçon limité à 80 km/h, dès lors qu'aucun excès de vitesse ne lui est reproché, et étant établi que la visibilité était bonne, sans que l'usage des feux de croisement ne remette en cause cet aspect d'après les constatations cantonales.
2.3. Le recourant invoque enfin une rupture du lien de causalité.
2.3.1. Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit; il s'agit là d'une question de fait (<ref-ruling> consid. 4.1.3 p. 61; <ref-ruling> consid. 4.2.3.3 p. 9). Lorsque la causalité naturelle est établie, il faut encore rechercher si le comportement incriminé est la cause adéquate du résultat. Tel est le cas lorsque, d'après le cours ordinaire des choses et l'expérience de la vie, le comportement était propre à entraîner un résultat du genre de celui qui s'est produit. Il s'agit d'une question de droit que le Tribunal fédéral revoit librement (<ref-ruling> consid. 4.1.3 p. 61; <ref-ruling> consid. 6.1 p. 168). Selon la jurisprudence, la causalité adéquate sera admise même si le comportement de l'auteur n'est pas la cause directe ou unique du résultat. Peu importe que le résultat soit dû à d'autres causes, notamment à l'état de la victime, à son comportement ou à celui de tiers (<ref-ruling> consid. 5.2 p. 148). Il y a en revanche rupture de ce lien de causalité adéquate, l'enchaînement des faits perdant sa portée juridique, si une autre cause concomitante - par exemple une force naturelle, le comportement de la victime ou celui d'un tiers - propre au cas d'espèce constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait pas s'y attendre. Cependant, cette imprévisibilité de l'acte concurrent ne suffit pas en soi à interrompre le lien de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à amener celui-ci, notamment le comportement de l'auteur (<ref-ruling> consid. 4.4.2 p. 265 s.; <ref-ruling> consid. 6.1 p. 168).
En matière de circulation routière, le Tribunal fédéral a jugé que la présence inattendue d'un piéton traversant une autoroute n'était pas plus imprévisible que celle d'animaux errants ou blessés, de victimes d'accidents, d'objets tombés sur la chaussée ou de véhicules immobilisés, de tels obstacles n'étant pas considérés si rares qu'on puisse en faire abstraction sur une autoroute (<ref-ruling> consid. 3d p. 284). Dans un arrêt concernant un piéton cheminant sur une route cantonale vers 22h30, ce comportement n'a pas été considéré comme étant exceptionnel au point d'interrompre le lien de causalité entre le comportement fautif du conducteur automobile et le décès de la victime (arrêt 6B_1023/2010 du 3 mars 2011 consid. 3.2).
2.3.2. La cour cantonale a admis la causalité naturelle et adéquate et a exclu une rupture de cette dernière, relevant que la présence d'un piéton au milieu d'une route cantonale, à un endroit qui n'est ni désert ni isolé, n'est pas à ce point insolite et imprévisible qu'elle relègue à l'arrière-plan la faute du conducteur qui l'a heurté.
2.3.3. En l'espèce, le lien de causalité naturelle n'est pas discuté.
Une inattention fautive de plusieurs secondes au volant d'un véhicule automobile circulant entre 70 et 75 km/h, à la sortie d'une zone limitée à 60 km/h, sur une route principale qui longe une zone industrielle, de nuit, favorise l'avènement d'un accident.
Si la présence d'un piéton au milieu d'une route principale en pleine nuit est inhabituelle, elle n'est pas extraordinaire, le soir du réveillon, connu comme étant un événement festif impliquant notamment de la consommation d'alcool et des comportements inattendus sur les routes, en particulier au moment du retour au domicile. Aussi, le comportement de la victime portant des vêtements sombres et se tenant debout au milieu de la chaussée, est certes dangereux, il n'apparaît toutefois pas extraordinaire au point de reléguer à l'arrière-plan le comportement fautif de l'auteur.
La cour cantonale n'a pas ignoré le comportement dangereux de la victime mais a considéré qu'il s'agissait d'une faute concomitante qui n'était pas insolite et imprévisible au point de reléguer à l'arrière-plan la faute du recourant et d'interrompre le lien de causalité. Ce raisonnement ne souffre aucune contradiction, contrairement à ce que suggère le recourant. Partant, la faute de la victime, autant qu'elle n'est pas interruptive du lien de causalité, est sans pertinence dès lors qu'il n'existe pas de compensation des fautes en droit pénal (<ref-ruling> consid. 2c/cc p. 24; arrêt 6B_69/2017 du 28 novembre 2017 consid. 2.3.2).
La présente affaire se distingue de celles dont se prévaut le recourant, dans lesquelles une rupture du lien de causalité a été retenue au motif que la victime s'était soudainement élancée sur la chaussée lors du passage de la voiture (arrêt 6S.287/2004 du 24 septembre 2004 consid. 2.5), ou la victime s'était couchée sans raison sur les voies d'une autoroute (arrêt 6B_291/2015 du 18 janvier 2016 consid. 3.2, qui distingue expressément ce comportement de celui d'une personne qui déambule de manière inconsciente sur la route). Aussi, le recourant ne saurait rien en déduire en sa faveur.
En définitive, c'est sans violer le droit fédéral que la cour cantonale a admis la causalité naturelle et adéquate entre la négligence fautive du recourant et le décès de la victime et a exclu la rupture du lien de causalité.
3.
Pour le surplus, le recourant ne discute d'aucune manière la peine prononcée et les indemnités octroyées, de sorte qu'il n'y a pas lieu de s'y arrêter.
4.
Le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens, les intimés n'ayant pas été invités à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 juin 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke