Faits: A. Par jugement du 30 septembre 2011, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré X._ et ses trois co-prévenus, de l'accusation d'homicide par négligence. B. Par jugement du 3 mai 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par le Ministère public et Y._, reconnu X._ et ses co-prévenus coupables d'homicide par négligence, condamné X._ à 30 jours-amende à 100 fr. avec sursis pendant 2 ans et à verser à Y._, solidairement avec les trois autres condamnés, un montant de 14'313.05 fr. à titre d'indemnité pour les dépenses obligatoires occasionnées par la procédure. En bref, il ressort les éléments suivants de ce jugement. Le jeudi 18 octobre 2007, un accident s'est produit sur le chantier de construction d'une usine, lors duquel Z._ a perdu la vie. X._, qui disposait de très bonnes connaissances professionnelles, était le chef de chantier et le responsable technique. Il avait en outre conçu un système de fourche de transport qui devait permettre le déplacement d'éléments préfabriqués en béton constituant les futurs murs de l'usine. Selon la procédure qu'il avait mise en place, la fourche devait être accrochée par un câble à la grue, puis venir chercher les éléments préfabriqués à l'endroit de stockage pour les acheminer au lieu de la pose, sous la dalle, à laquelle ils devaient être suspendus et boulonnés. Cette procédure nécessitait que les éléments en béton préfabriqués soient stockés sur un peigne et qu'ils n'occupent qu'un espace sur deux délimité par les dents du peigne afin de laisser une place suffisante pour permettre l'arrimage de l'élément sur la fourche. En raison de ses dimensions (2,40 m par 2 m), de son poids (env. 500 kg) et de sa faible assise au sol, la fourche présentait un danger de basculement si elle était posée verticalement sans être appuyée contre un élément fixe ou sans être suspendue à la grue. C'est pour cette raison que la procédure définie par X._ imposait que la fourche soit suspendue à la grue, et donc assurée, pour aller chercher l'élément préfabriqué. L'équipe dans laquelle Z._ travaillait a été chargée de la mise en place des éléments préfabriqués. Le chef d'équipe a toutefois constaté que la procédure établie par X._ ne pouvait pas être pratiquée en raison du fait que les éléments préfabriqués avaient été stockés un peu partout sur le chantier, une partie de façon trop serrée sur les peignes, l'autre posée sur des carrelets ou à même le sol. L'équipe a alors, dans la majorité des cas, soit deux fois sur trois, utilisé une autre méthode qui consistait à ce que la grue soulève depuis le sol les éléments préfabriqués pour les amener et les poser directement sur la fourche dressée verticalement, sans aucun assurage, sur la dalle de l'immeuble en construction. Le stockage non conforme des éléments préfabriqués était bien visible. X._ montait trois fois par semaine sur le chantier. Il n'a pas été mis au courant du changement de procédure s'agissant du transport des éléments préfabriqués. Le jour de l'accident, Z._ se trouvait sur la dalle de l'immeuble pour réceptionner un élément préfabriqué accroché à la grue et le placer sur la fourche non assurée. A un moment donné pendant la man?uvre, il s'est placé derrière la fourche. Soudain, la fourche a basculé du côté où se trouvait Z._, l'a heurté à la tête et l'a fait tomber à terre écrasant ses membres inférieurs. Z._ est décédé aussitôt. C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, principalement à son annulation et au maintien de la décision de première instance et, subsidiairement, à la réforme du jugement attaqué en ce sens qu'il est acquitté du chef d'accusation d'homicide par négligence et qu'il ne doit aucune indemnité à Y._. Il n'a pas été ordonné d'échange d'écritures.