Faits : A. Par jugement du 28 juin 2018, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à 60 jours-amende à 30 fr. le jour, avec sursis pendant 2 ans, pour homicide par négligence. Par ce même jugement, Y._ et Z._ ont été condamnés pour la même infraction. Le tribunal de première instance les a condamnés, solidairement entre eux, au paiement d'indemnités à titre de tort moral en faveur de A._, B._ et C._, respectivement parents et fils du défunt, ainsi qu'au remboursement des frais de déplacement et des frais d'obsèques. B. Par jugement du 27 novembre 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formés par X._, Y._ et Z._ et a confirmé le jugement de première instance. En substance, le jugement repose sur les faits suivants. En 2015, l'entreprise D._ SA, active depuis 2010 dans le domaine de travaux de construction, a été mandatée afin d'effectuer certains travaux de transformation d'une villa à E._. X._, directeur de la société D._ SA, avait la responsabilité du suivi des chantiers et de la formation des employés de l'entreprise. Il était également chargé de faire appliquer les normes de sécurité établies par la SUVA, mais n'avait pas informé ses employés de celles-ci, ni établi de directives en ce sens. Y._ était le responsable/technicien de chantier et Z._ le contremaître. Le 13 juillet 2015, vers 11h30, F._ et G._, employés, et Z._ étaient occupés à creuser une fouille pour remplacer une canalisation des eaux usées à proximité de la villa. La fouille, d'une largeur de 80 cm, atteignait une profondeur en rigole d'environ 260 cm au niveau de la rue et était profonde de 190 cm à l'endroit de l'événement. G._ était aux commandes d'une pelle rétro de 2,8 tonnes et creusait la fouille verticalement. Celle-ci n'était pas étayée et aucune mesure n'avait été prise contre le risque d'effondrement des parois. Une partie des gravats était chargée sur une camionnette stationnée à 90/100 cm du bord droit de la fouille. Les autres gravats étaient entreposés sur le côté gauche de la fouille. F._ et Z._ se trouvaient debout, entre la camionnette et le bord droit de la fouille, en attendant de pouvoir installer des panneaux de bois pour sécuriser les parois de la tranchée. Soudain, la terre de la berge située du côté de la camionnette s'est effondrée. F._ a été entraîné vers le fond de la fouille, le sol se dérobant sous ses pieds. Il a été presque entièrement enseveli sous les gravats et a d'emblée perdu connaissance. F._ est décédé d'un polytraumatisme extrêmement sévère, combiné à une asphyxie mécanique. Dans un rapport du 15 juillet 2015, les experts de la SUVA ont conclu que l'accident était dû à une absence d'étayage et à un manquement au niveau de la formation du personnel. Ils ont relevé que le terrain était de mauvaise qualité et que du matériel d'étayage non adéquat, composé de panneaux de coffrage, se trouvait sur le chantier. Il ressort d'une expertise technique du 13 février 2017, que la fouille aurait dû être étayée au plus tard à 150 cm de profondeur et que les emplacements de la camionnette du côté droit de la fouille ainsi que de la terre extraite du côté gauche de la fouille ne respectaient pas les règles de sécurité. Les experts ont exposé que l'affaiblissement progressif du terrain et son effondrement subséquent avaient été provoqués par les allées et venues de la camionnette et par la surcharge du poids des deux ouvriers positionnés entre la camionnette et le bord de la fouille. Ils ont relevé que l'effondrement s'était produit brusquement, sans signe avant-coureur visible, ce qui était caractéristique d'un sol sablo-graveleux tel que celui de la parcelle concernée, et que le matériel d'étayage qui devait être installé n'était pas conforme. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est libéré du chef d'accusation d'homicide par négligence et des condamnations en paiement.