Faits :
A.
Par jugement du 28 juin 2018, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à 60 jours-amende à 30 fr. le jour, avec sursis pendant 2 ans, pour homicide par négligence. Par ce même jugement, Y._ et Z._ ont été condamnés pour la même infraction. Le tribunal de première instance les a condamnés, solidairement entre eux, au paiement d'indemnités à titre de tort moral en faveur de A._, B._ et C._, respectivement parents et fils du défunt, ainsi qu'au remboursement des frais de déplacement et des frais d'obsèques.
B.
Par jugement du 27 novembre 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formés par X._, Y._ et Z._ et a confirmé le jugement de première instance.
En substance, le jugement repose sur les faits suivants.
En 2015, l'entreprise D._ SA, active depuis 2010 dans le domaine de travaux de construction, a été mandatée afin d'effectuer certains travaux de transformation d'une villa à E._. X._, directeur de la société D._ SA, avait la responsabilité du suivi des chantiers et de la formation des employés de l'entreprise. Il était également chargé de faire appliquer les normes de sécurité établies par la SUVA, mais n'avait pas informé ses employés de celles-ci, ni établi de directives en ce sens. Y._ était le responsable/technicien de chantier et Z._ le contremaître.
Le 13 juillet 2015, vers 11h30, F._ et G._, employés, et Z._ étaient occupés à creuser une fouille pour remplacer une canalisation des eaux usées à proximité de la villa. La fouille, d'une largeur de 80 cm, atteignait une profondeur en rigole d'environ 260 cm au niveau de la rue et était profonde de 190 cm à l'endroit de l'événement. G._ était aux commandes d'une pelle rétro de 2,8 tonnes et creusait la fouille verticalement. Celle-ci n'était pas étayée et aucune mesure n'avait été prise contre le risque d'effondrement des parois. Une partie des gravats était chargée sur une camionnette stationnée à 90/100 cm du bord droit de la fouille. Les autres gravats étaient entreposés sur le côté gauche de la fouille. F._ et Z._ se trouvaient debout, entre la camionnette et le bord droit de la fouille, en attendant de pouvoir installer des panneaux de bois pour sécuriser les parois de la tranchée. Soudain, la terre de la berge située du côté de la camionnette s'est effondrée. F._ a été entraîné vers le fond de la fouille, le sol se dérobant sous ses pieds. Il a été presque entièrement enseveli sous les gravats et a d'emblée perdu connaissance. F._ est décédé d'un polytraumatisme extrêmement sévère, combiné à une asphyxie mécanique.
Dans un rapport du 15 juillet 2015, les experts de la SUVA ont conclu que l'accident était dû à une absence d'étayage et à un manquement au niveau de la formation du personnel. Ils ont relevé que le terrain était de mauvaise qualité et que du matériel d'étayage non adéquat, composé de panneaux de coffrage, se trouvait sur le chantier.
Il ressort d'une expertise technique du 13 février 2017, que la fouille aurait dû être étayée au plus tard à 150 cm de profondeur et que les emplacements de la camionnette du côté droit de la fouille ainsi que de la terre extraite du côté gauche de la fouille ne respectaient pas les règles de sécurité. Les experts ont exposé que l'affaiblissement progressif du terrain et son effondrement subséquent avaient été provoqués par les allées et venues de la camionnette et par la surcharge du poids des deux ouvriers positionnés entre la camionnette et le bord de la fouille. Ils ont relevé que l'effondrement s'était produit brusquement, sans signe avant-coureur visible, ce qui était caractéristique d'un sol sablo-graveleux tel que celui de la parcelle concernée, et que le matériel d'étayage qui devait être installé n'était pas conforme.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est libéré du chef d'accusation d'homicide par négligence et des condamnations en paiement.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir violé son droit d'être entendu en ne réadministrant pas les preuves en appel. Il invoque une violation des art. 29 al. 2 Cst., 343, 389 et 405 CPP.
1.1. Aux termes de l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. Ce principe n'est toutefois applicable que si les preuves sur lesquelles l'autorité de recours veut s'appuyer ont été administrées conformément aux règles de procédure (<ref-ruling> consid. 1.4.1 p. 290). L'administration des preuves du tribunal de première instance doit ainsi être répétée par l'autorité d'appel si les dispositions en matière de preuves ont été enfreintes, l'administration des preuves était incomplète ou les pièces relatives à l'administration des preuves ne semblent pas fiables (<ref-law>; <ref-ruling> consid. 1.4.1 p. 290). L'administration directe du moyen de preuve doit également être réitérée durant la procédure orale d'appel conformément aux <ref-law>, applicable par renvoi de l'<ref-law> à la procédure d'appel, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1 p. 290; arrêt 6B_1469/2017 du 18 juin 2018 consid. 1.3). Tel est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de " déclarations contre déclarations " (cf. <ref-ruling> consid. 4.4.2 p. 199 s.; arrêts 6B_535/2018 du 15 novembre 2018 consid. 4.1; 6B_800/2016 du 25 octobre 2017 consid. 9.2 non publié à l'<ref-ruling>). Le juge dispose d'un pouvoir d'appréciation afin de déterminer si la réadministration de la preuve, par lui, est nécessaire (<ref-ruling> consid. 4.4.2 p. 199 s.; arrêt 6B_800/2016 du 25 octobre 2017 consid. 9.2 non publié à l'<ref-ruling>).
Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., n'accorde pas de droits plus étendus en matière d'administration de preuves que ceux découlant des art. 343 et 389 CPP (arrêts 6B_1469/2017 du 18 juin 2018 consid. 1.3; 6B_1251/2014 du 1er juin 2015 consid. 1.4) ou de la maxime de l'instruction (arrêts 6B_1266/2018 du 12 mars 2019 consid. 1.3; 6B_128/2018 du 8 février 2019 consid. 3.2).
1.2. Il ressort expressément du jugement entrepris que le recourant a été entendu en appel. Il a alors confirmé les déclarations faites durant l'enquête et en première instance et a affirmé n'avoir " rien de nouveau à dire " (jugement entrepris, p. 5). Aucune requête d'administration de preuve n'a été formulée (jugement entrepris, p. 4 et 8). Le recourant ne prétend ni ne tente de démontrer que l'administration des preuves était incomplète ou que la connaissance directe de certains moyens de preuve apparaissait nécessaire. La condamnation repose sur l'appréciation de plusieurs moyens de preuve, non de deux déclarations contradictoires. En tant que le recourant se contente d'affirmer que la cour cantonale aurait dû faire administrer des preuves complémentaires, sans autre développement, son moyen est irrecevable. En définitive, faute pour le recourant d'indiquer en quoi la cour cantonale aurait violé les dispositions relatives à l'administration des preuves en appel, il n'y a pas lieu d'entrer en matière sur ce point (<ref-law>).
2.
Le recourant conteste sa condamnation du chef d'homicide par négligence. Il estime que l'autorité précédente a établi certains faits de la cause de manière arbitraire et contraire à la présomption d'innocence. Il invoque une violation de l'<ref-law>.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368). La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 2.2.3 p. 348 ss; <ref-ruling> consid. 7 p. 82).
2.2. Aux termes de l'<ref-law>, celui qui, par négligence, aura causé la mort d'une personne sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. Selon l'<ref-law>, agit par négligence quiconque, par une imprévoyance coupable, commet un crime ou un délit sans se rendre compte des conséquences de son acte ou sans en tenir compte. L'imprévoyance est coupable quand l'auteur n'a pas usé des précautions commandées par les circonstances et par sa situation personnelle. Une condamnation pour homicide par négligence au sens de l'<ref-law> suppose ainsi la réalisation de trois éléments constitutifs, à savoir le décès d'une personne, une négligence, ainsi qu'un rapport de causalité naturelle et adéquate entre les deux premiers éléments (<ref-ruling> consid. 3 p. 147; cf. arrêts 6B_704/2018 du 2 novembre 2018 consid. 4.1; 6B_1371/2017 du 22 mai 2018 consid. 1.1).
Deux conditions doivent être remplies pour qu'il y ait négligence. En premier lieu, il faut que l'auteur viole les règles de la prudence, c'est-à-dire le devoir général de diligence institué par la loi pénale, qui interdit de mettre en danger les biens d'autrui pénalement protégés contre les atteintes involontaires. Un comportement dépassant les limites du risque admissible viole le devoir de prudence s'il apparaît qu'au moment des faits, son auteur aurait dû, compte tenu de ses connaissances et de ses capacités, se rendre compte de la mise en danger d'autrui (<ref-ruling> consid. 2.3.1 p. 79). Pour déterminer le contenu du devoir de prudence, il faut donc se demander si une personne raisonnable, dans la même situation et avec les mêmes aptitudes que l'auteur, aurait pu prévoir, dans les grandes lignes, le déroulement des événements et, le cas échéant, quelles mesures elle pouvait prendre pour éviter la survenance du résultat dommageable (<ref-ruling> consid. 4.2.3 p. 262 et les références citées). Lorsque des prescriptions légales ou administratives ont été édictées dans un but de prévention des accidents, ou lorsque des règles analogues émanant d'associations spécialisées sont généralement reconnues, leur violation fait présumer la violation du devoir général de prudence (<ref-ruling> consid. 2.1 p. 140; <ref-ruling> consid. 2.1 p. 64; <ref-ruling> consid. 4.2.3 p. 262). S'il y a eu violation des règles de la prudence, encore faut-il que celle-ci puisse être imputée à faute, c'est-à-dire que l'on puisse reprocher à l'auteur, compte tenu de ses circonstances personnelles, d'avoir fait preuve d'un manque d'effort blâmable (<ref-ruling> consid. 4.2.3 p. 262 s.).
Il faut ensuite qu'il existe un rapport de causalité entre la violation fautive du devoir de prudence et le décès de la victime.
3.
Le recourant conteste avoir violé son devoir de prudence en n'instruisant pas suffisamment ses ouvriers sur les règles de sécurité concernant les travaux de fouilles et en délégant la sécurité du chantier à Y._. Il reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans l'établissement des faits sur ces points.
3.1. En l'occurrence, il est reproché au recourant d'avoir violé son devoir de prudence par le fait d'un comportement passif contraire à une obligation d'agir (<ref-law>).
Reste passif en violation d'une obligation d'agir celui qui n'empêche pas la mise en danger ou la lésion d'un bien juridique protégé par la loi pénale bien qu'il y soit tenu à raison de sa situation juridique. L'<ref-law> énumère plusieurs sources pouvant fonder une position de garant, à savoir la loi, un contrat, une communauté de risques librement consentie ou la création d'un risque. N'importe quelle obligation juridique ne suffit pas. Il faut qu'elle ait découlé d'une position de garant, c'est-à-dire que l'auteur se soit trouvé dans une situation qui l'obligeait à ce point à protéger un bien déterminé contre des dangers indéterminés (devoir de protection), ou à empêcher la réalisation de risques connus auxquels des biens indéterminés étaient exposés (devoir de surveillance), que son omission peut être assimilée au fait de provoquer le résultat par un comportement actif (cf. art. 11 al. 2 et 3 CP; <ref-ruling> consid. 1.1 p. 251 s.; <ref-ruling> consid. 4.2.1 p. 259 s.; arrêts 6B_315/2016 du 1er novembre 2016 consid. 4.1; 6B_614/2014 du 1er décembre 2014 consid. 1).
3.2. Selon l'art. 3 al. 5 de l'ordonnance sur la sécurité et la protection de la santé des travailleurs dans les travaux de construction (OTConst; RS 832.311.141), l'employeur qui exécute des travaux de construction doit veiller à ce que matériel, installations et appareils adéquats soient disponibles à temps et en quantité suffisante. Ils doivent être en parfait état de fonctionnement et satisfaire aux exigences de la sécurité au travail et de la protection de la santé. A teneur de l'<ref-law>, l'employeur doit désigner sur chaque chantier une personne compétente chargée de la sécurité au travail et de la protection de la santé; cette personne peut donner des directives en la matière aux travailleurs. L'<ref-law> fixe des règles de sécurité en matière de fouilles en particulier. Celles-ci doivent être aménagées de manière que la chute ou l'éboulement de matériaux ne mette personne en danger (al. 1). Les fouilles de plus de 1m50 de profondeur qui ne sont pas étayées doivent être talutées ou assurées par d'autres mesures adéquates (cf. al. 2). Les bords de la fouille doivent être libres sur au moins 50 cm de largeur lorsqu'elle est étayée ou sur au moins 1m lorsqu'il y a un talus (al. 5).
Selon l'art. 3 al. 1 de l'ordonnance sur la prévention des accidents et des maladies professionnelles (OPA; RS 832.30), l'employeur est tenu, pour assurer et améliorer la sécurité au travail, de prendre toutes les dispositions et mesures de protection qui répondent aux prescriptions de la présente ordonnance, aux autres dispositions sur la sécurité au travail applicables à son entreprise et aux règles reconnues en matière de technique de sécurité et de médecine du travail. L'employeur doit veiller à ce que l'efficacité des mesures et des installations de protection ne soit pas entravée. Il les contrôle à intervalles appropriés (al. 2). A teneur de l'art. 6 OPA, l'employeur veille à ce que tous les travailleurs occupés dans son entreprise, y compris ceux provenant d'une entreprise tierce, soient informés de manière suffisante et appropriée des risques auxquels ils sont exposés dans l'exercice de leur activité et instruits des mesures de sécurité au travail. Cette information et cette instruction doivent être dispensées lors de l'entrée en service ainsi qu'à chaque modification importante des conditions de travail; elles doivent être répétées si nécessaire (al. 1). Les travailleurs doivent être renseignés sur les tâches et les fonctions des spécialistes de la sécurité au travail occupés dans l'entreprise (al. 2). L'employeur veille à ce que les travailleurs observent les mesures relatives à la sécurité au travail (al. 3). Selon l'art. 7 al. 1, 1ère phrase, OPA, lorsque l'employeur confie à un travailleur certaines tâches relatives à la sécurité au travail, il doit le former de manière appropriée, parfaire sa formation et lui donner des compétences précises et des instructions claires. Le fait de confier de telles tâches à un travailleur ne libère pas l'employeur de ses obligations d'assurer la sécurité au travail (al. 2). L'art. 8 al. 1 OPA prévoit que l'employeur ne peut confier des travaux comportant des dangers particuliers qu'à des travailleurs ayant été formés spécialement à cet effet. L'employeur fera surveiller tout travailleur qui exécute seul un travail dangereux.
Il ressort de la " liste de contrôle concernant les fouilles et terrassements ", éditée en février 2014 par la SUVA, que les fouilles de plus de 1,50 m de profondeur doivent être talutées, étayées ou assurées par d'autres mesures adéquates (ch. 4). S'agissant de l'organisation et de la formation, il faut veiller à ce que le personnel soit régulièrement informé sur les risques spécifiques aux fouilles (notamment être enseveli) et le personnel d'encadrement doit contrôler le respect des règles en vigueur (ch. 24).
Dans un document intitulé " Sécurité dans les travaux de fouilles " (cf. pièce 108 du dossier), le Bureau pour la Sécurité au travail, géré par la Société suisse des entrepreneurs, pose comme règles de base, lorsque le terrain est instable (ex: mauvaise qualité du sol) ou qu'il est rendu instable (ex: surcharge), de taluter ou étayer, même si la fouille a moins de 1m50 de profondeur (ch. 2). Aucune machine (ex: pelle, camion) ne doit se situer à moins d'un mètre du bord de la fouille si celle-ci n'est pas étayée. La surcharge peut entraîner un éboulement (ch. 6).
3.3. La cour cantonale a retenu que le recourant avait laissé ses collaborateurs dans l'ignorance des normes de sécurité concernant le travail de fouille. Selon le jugement entrepris, le recourant avait admis n'avoir donné à ses employés aucune formation particulière s'agissant des règles de sécurité. Il ignorait si Y._ avait déjà participé à des travaux de fouille, s'étant fondé sur le CV de ce dernier pour considérer qu'il était qualifié comme conducteur de travaux responsable de la sécurité. Il avait également reconnu n'avoir pas informé ses employés s'agissant de la profondeur d'une fouille nécessitant un étayage et des distances de sécurité aux abords de la fouille. Bien qu'au bénéfice d'une formation d'architecte acquise au Portugal, Y._ avait confirmé qu'il n'avait jamais suivi de formation concernant les normes suisses de sécurité sur les chantiers. Il n'avait ainsi pas été en mesure d'indiquer au chef d'équipe, Z._, quel matériel il fallait prendre pour l'étayage et n'avait donné aucune instruction sur la pose du matériel d'étayage. Y._ avait en outre admis qu'il ignorait s'il était possible ou non d'utiliser des panneaux de coffrage pour étayer la fouille.
Sur cette base, la cour cantonale a considéré que le recourant ne pouvait pas se prévaloir de la délégation de la sécurité à Y._, puisque celui-ci était de toute évidence incompétent en la matière. Il apparaissait, aux yeux des juges cantonaux, que les questions de sécurité étaient négligées au sein de l'entreprise du recourant et que le processus accidentel ayant conduit au décès de la victime résultait d'une accumulation d'ignorances sur les règles de sécurité de l'étayage, allant du responsable de la sécurité jusqu'à l'ouvrier, en passant par le contremaître ou le chef d'équipe. En sa qualité de directeur de la société mandatée pour les travaux, le recourant avait une position de garant vis-à-vis de ses employés et le devoir de les former ou de veiller à leur formation sur les règles de sécurité, ce qu'il n'avait pas fait. Son absence le jour du sinistre ne l'exonérait pas de sa responsabilité quant aux carences organisationnelles de son entreprise, à l'origine de l'accident mortel (jugement cantonal consid. 2.3 p. 19 s.).
3.4. Le recourant ne remet pas en cause les conclusions des expertises. Il se contente de reproduire certaines de ses déclarations aux débats et celles des employés, sans tenter de démontrer dans quelle mesure la cour cantonale les aurait appréciées arbitrairement ou en aurait tiré des conclusions insoutenables. Faute de remplir les exigences de motivation déduites de l'<ref-law>, son argumentation est irrecevable. En tout état, dans la mesure où il est établi que Y._ n'était pas en mesure d'indiquer quel matériel était nécessaire à l'étayage, peu importe qu'il soit titulaire d'un diplôme d'architecte, qu'il ait appris les règles de sécurité sur le chantier, qu'il fut au courant de l'obligation d'étayer dès 1,50 m et qu'il se soit senti responsable d'informer des consignes de sécurité. L'expérience de Z._ en qualité de maçon et celle de la victime, engagée depuis environ 3 mois par le recourant (jugement de première instance, p. 6) ne sont pas davantage pertinentes. En effet, ces éléments sont inaptes à démontrer l'arbitraire de la constatation selon laquelle le recourant n'a pas informé ni instruit les travailleurs s'agissant des mesures de sécurité, pas plus qu'il n'a formé Y._ en lui confiant des tâches relatives à la sécurité. Pour le surplus, le fait que la victime ait, selon son père, parfois fait des fouilles avec une pelle retro au Portugal (jugement de première instance, p. 33) ne permet pas de démontrer l'arbitraire de la constatation selon laquelle il ignorait les règles de sécurité en matière de fouilles.
En l'espèce, il est établi et incontesté que le recourant, directeur de la société en charge des travaux, avait la responsabilité du suivi des chantiers, de la formation des employés et de l'application des normes de sécurité établies par la SUVA. Sa position de garant l'obligeait à protéger ses employés sur les chantiers et à empêcher la réalisation des risques liés aux travaux de construction, cela en vertu des prescriptions légales et règles analogues édictées afin de prévenir les accidents (cf. supra consid. 3.2). Or, d'après les faits établis, dont l'arbitraire n'a pas été démontré, le recourant n'a pas formé spécifiquement le responsable/technicien du chantier, ni le contremaître et s'est abstenu d'indiquer à ses employés les règles de base de sécurité dans les travaux de fouille, notamment s'agissant de l'étayage et de la distance imposée par la surcharge due aux engins. Il ne s'est pas assuré de l'adéquation du matériel d'étayage ni de la sécurisation des travaux de fouille. Il ne s'est pas assuré de l'expérience professionnelle de la victime (jugement de première instance, p. 6). Il a confié certaines tâches à Y._ et Z._ sans les former et sans leur donner d'instructions claires, alors qu'ils ignoraient quel matériel était adéquat. Il a ainsi violé plusieurs règles en rapport direct avec l'accident fatal (cf. supra consid. 3.2). Compte tenu de ses circonstances personnelles, le recourant n'a pas déployé l'attention et les efforts que l'on pouvait attendre de lui, au contraire, il a fait preuve d'une négligence fautive.
Certes, il ressort de l'arrêt publié aux <ref-ruling>, auquel se réfère le recourant, qu'un responsable des travaux peut confier à un collaborateur expérimenté et capable la tâche d'instruire et de surveiller directement les ouvriers sur un de ces chantiers afin d'éviter les risques d'accident. Toutefois, à teneur de ce même arrêt, l'obligation de procéder avec la diligence voulue au choix, à l'information et à la surveillance de son personnel reste à sa charge. Au surplus, il est précisé qu'en l'espèce, le recourant ne s'est pas assuré de l'expérience et des capacités de Y._ et ne l'a pas formé ni ne lui a donné d'instructions claires.
Le recourant ne saurait rien déduire en sa faveur de l'arrêt publié aux <ref-ruling>, dont il ressort que, lorsqu'un ouvrier sait ce qu'il doit faire et y renonce, l'employeur ne peut pas être automatiquement rendu responsable sur le plan pénal. En effet, dans l'arrêt précité, le grutier savait quelles étaient les manoeuvres à entreprendre pour éviter un accident, ce qui n'est pas le cas en l'espèce (jugement entrepris consid. 2.3 p. 20).
Par conséquent, c'est sans violer le droit fédéral que la cour cantonale a reconnu que le recourant avait violé de manière fautive son devoir de prudence.
4.
Le recourant conteste l'existence d'un lien de causalité entre ses manquements et le décès de la victime. Il se prévaut d'une rupture du lien de causalité.
4.1. Les concepts de causalité naturelle et adéquate ont été rappelés récemment aux <ref-ruling> consid. 3.7 p. 249 s. et ont notamment été précisés aux <ref-ruling> consid. 6.1 p. 167 s. et <ref-ruling> consid. 5 p. 147 ss, auxquels on peut se référer. Selon la jurisprudence, il y a rupture du lien de causalité adéquate, l'enchaînement des faits perdant sa portée juridique, lorsque une autre cause concomitante - par exemple une force naturelle, le comportement de la victime ou celui d'un tiers - propre au cas d'espèce constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait pas s'y attendre. Cependant, cette imprévisibilité de l'acte concurrent ne suffit pas en soi à interrompre le lien de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à amener celui-ci, notamment le comportement de l'auteur (<ref-ruling> consid. 4.4.2 p. 265 s.; <ref-ruling> consid. 6.1 p. 168; <ref-ruling> consid. 5.2 p. 148; cf. aussi <ref-ruling> consid. 3.7 p. 250).
En cas de violation du devoir de prudence par omission, il faut procéder par hypothèse et se demander si l'accomplissement de l'acte omis aurait, selon le cours ordinaire des choses et l'expérience de la vie, évité la survenance du résultat qui s'est produit, pour des raisons en rapport avec le but protecteur de la règle de prudence violée. Pour l'analyse des conséquences de l'acte supposé, il faut appliquer les concepts généraux de la causalité naturelle et de la causalité adéquate (<ref-ruling> consid. 4.4.1 p. 265). L'existence de cette causalité dite hypothétique suppose une très grande vraisemblance; autrement dit, elle n'est réalisée que lorsque l'acte attendu ne peut pas être inséré intellectuellement dans le raisonnement sans en exclure, très vraisemblablement, le résultat (<ref-ruling> consid. 4a p. 185; arrêt 6B_177/2017 du 6 septembre 2017 consid. 4.1). La causalité adéquate est ainsi exclue lorsque l'acte attendu n'aurait vraisemblablement pas empêché la survenance du résultat ou lorsqu'il serait simplement possible qu'il l'eût empêché (arrêts 6B_948/2017 du 8 mars 2018 consid. 4.1; 6B_177/2017 du 6 septembre 2017 consid. 4.1).
4.2. Se fondant sur les observations des experts, la cour cantonale a retenu que l'étayage de la fouille était absolument indispensable à partir de la profondeur de 1,50 m et qu'il était évident que si cette mesure de sécurité avait été prise, le décès de la victime ne se serait pas produit. La cour cantonale a également retenu que la distance entre le bord de la fouille et la camionnette n'était pas suffisante.
4.3. Sur la base des faits établis, la formation des employés et la surveillance des mesures de sécurité de la fouille (étayage et distance minimale) auraient selon toute vraisemblance empêché l'ensevelissement de la victime. Si le recourant avait correctement formé ses employés et s'était assuré que les moyens adéquats étaient disponibles et mis en oeuvre pour sécuriser la fouille, l'accident aurait, avec une vraisemblance confinant à la certitude, pu être évité. Aussi, c'est sans violer le droit fédéral que la cour cantonale a admis la causalité adéquate.
Le recourant souligne le passage de l'expertise selon lequel l'effondrement s'est produit brusquement, " sans signe avant-coureur visible, ce qui est caractéristique d'un sol sablo-graveleux ". Il estime que la fatalité ne pouvait être exclue en tant que cause de survenance de l'accident (mémoire de recours ch. 6 p. 7). Or le caractère soudain de l'effondrement et la qualité du sol ne sauraient être qualifiées d'imprévisibles, dès lors que les normes de l'OTConst et les directives précitées visent précisément à éviter les risques liés aux fouilles, quel que soit le type de sol (cf. en particulier pièce 108 ch. 2). En tout état, il est rappelé que si l'expertise relève l'absence de signe avant-coureur visible de l'effondrement, elle précise que cela est caractéristique du sol en question et exclut ainsi l'imprévisibilité de l'événement en l'espèce.
Par ailleurs, le recourant semble invoquer la faute concomitante de ses employés. C'est en vain qu'il se réfère à l'arrêt publié aux <ref-ruling>, traitant de la coactivité dans une affaire d'homicide par négligence, dès lors qu'il lui est reproché d'avoir réalisé, par ses seuls agissements, les éléments constitutifs de l'infraction. Par ailleurs, l'existence de causes concomitantes ne suffit pas à interrompre le lien de causalité entre les omissions du recourant et le décès de la victime, étant précisé qu'il n'existe pas de compensation des fautes en droit pénal (<ref-ruling> consid. 2c/bb p. 24). Aussi, les fautes des autres travailleurs invoquées par le recourant ne l'exonèrent pas de ses propres manquements. Enfin, il ressort expressément de l'arrêt publié aux <ref-ruling>, mis en exergue par le recourant, que le concours des fautes de l'entrepreneur et de la victime de l'accident n'exclut pas la faute de la direction des travaux (cf. consid. 4).
Cela étant, c'est à bon droit que la cour cantonale a écarté toute rupture du lien de causalité.
5.
Le recourant ne développe aucun grief contre sa condamnation au paiement d'indemnités en faveur des proches de la victime, indépendamment de ses conclusions en acquittement. Au vu du sort du recours, il n'y a pas lieu d'entrer en matière sur ce point.
6.
En définitive, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 avril 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke