Faits:
A. Par jugement du 30 septembre 2011, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré X._ et ses trois co-prévenus, de l'accusation d'homicide par négligence.
B. Par jugement du 3 mai 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par le Ministère public et Y._, reconnu X._ et ses co-prévenus coupables d'homicide par négligence, condamné X._ à 30 jours-amende à 100 fr. avec sursis pendant 2 ans et à verser à Y._, solidairement avec les trois autres condamnés, un montant de 14'313.05 fr. à titre d'indemnité pour les dépenses obligatoires occasionnées par la procédure.
En bref, il ressort les éléments suivants de ce jugement.
Le jeudi 18 octobre 2007, un accident s'est produit sur le chantier de construction d'une usine, lors duquel Z._ a perdu la vie.
X._, qui disposait de très bonnes connaissances professionnelles, était le chef de chantier et le responsable technique. Il avait en outre conçu un système de fourche de transport qui devait permettre le déplacement d'éléments préfabriqués en béton constituant les futurs murs de l'usine. Selon la procédure qu'il avait mise en place, la fourche devait être accrochée par un câble à la grue, puis venir chercher les éléments préfabriqués à l'endroit de stockage pour les acheminer au lieu de la pose, sous la dalle, à laquelle ils devaient être suspendus et boulonnés. Cette procédure nécessitait que les éléments en béton préfabriqués soient stockés sur un peigne et qu'ils n'occupent qu'un espace sur deux délimité par les dents du peigne afin de laisser une place suffisante pour permettre l'arrimage de l'élément sur la fourche. En raison de ses dimensions (2,40 m par 2 m), de son poids (env. 500 kg) et de sa faible assise au sol, la fourche présentait un danger de basculement si elle était posée verticalement sans être appuyée contre un élément fixe ou sans être suspendue à la grue. C'est pour cette raison que la procédure définie par X._ imposait que la fourche soit suspendue à la grue, et donc assurée, pour aller chercher l'élément préfabriqué.
L'équipe dans laquelle Z._ travaillait a été chargée de la mise en place des éléments préfabriqués. Le chef d'équipe a toutefois constaté que la procédure établie par X._ ne pouvait pas être pratiquée en raison du fait que les éléments préfabriqués avaient été stockés un peu partout sur le chantier, une partie de façon trop serrée sur les peignes, l'autre posée sur des carrelets ou à même le sol. L'équipe a alors, dans la majorité des cas, soit deux fois sur trois, utilisé une autre méthode qui consistait à ce que la grue soulève depuis le sol les éléments préfabriqués pour les amener et les poser directement sur la fourche dressée verticalement, sans aucun assurage, sur la dalle de l'immeuble en construction. Le stockage non conforme des éléments préfabriqués était bien visible. X._ montait trois fois par semaine sur le chantier. Il n'a pas été mis au courant du changement de procédure s'agissant du transport des éléments préfabriqués.
Le jour de l'accident, Z._ se trouvait sur la dalle de l'immeuble pour réceptionner un élément préfabriqué accroché à la grue et le placer sur la fourche non assurée. A un moment donné pendant la man?uvre, il s'est placé derrière la fourche. Soudain, la fourche a basculé du côté où se trouvait Z._, l'a heurté à la tête et l'a fait tomber à terre écrasant ses membres inférieurs. Z._ est décédé aussitôt.
C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, principalement à son annulation et au maintien de la décision de première instance et, subsidiairement, à la réforme du jugement attaqué en ce sens qu'il est acquitté du chef d'accusation d'homicide par négligence et qu'il ne doit aucune indemnité à Y._.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque l'arbitraire dans l'établissement des faits.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4, p. 313; sur la notion d'arbitraire, v. : <ref-ruling> consid. 2.4 p. 5). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3, p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 356 et les références citées).
1.2 Le recourant prétend que la cour cantonale aurait retenu que la procédure de transport et de pose sécurisés des éléments préfabriqués qu'il avait élaborée était inapplicable. Sur la base de cette constatation inexacte, elle aurait considéré que le recourant était coupable d'homicide par négligence pour n'avoir pas adapté sa procédure d'utilisation.
Contrairement à ce que soutient le recourant, la cour cantonale n'a pas retenu que sa procédure était inapplicable dans l'absolu, mais seulement qu'elle l'était en raison du fait que les éléments préfabriqués étaient stockés de manière non conforme à dite procédure. Le recourant a été condamné pour ne pas avoir prêté attention au stockage non conforme des éléments préfabriqués et n'avoir pas réagi, ni avoir surveillé la bonne application de sa méthode ou au moins vérifié auprès de tiers qu'ils s'en assuraient. Il n'a ainsi pas été condamné, comme il le soutient, pour ne pas avoir adapté une procédure qui aurait été inapplicable dans l'absolu. Mal fondé, le grief du recourant doit être rejeté.
2. Le recourant invoque une violation de l'<ref-law>.
2.1 L'<ref-law> réprime le comportement de celui qui, par négligence, aura causé la mort d'une personne. La réalisation de cette infraction suppose ainsi la réunion de trois conditions: le décès d'une personne, une négligence et un lien de causalité entre la négligence et la mort (<ref-ruling> consid. 3 p. 147).
2.2 L'homicide par négligence suppose en règle générale un comportement actif. Il peut toutefois aussi être commis par un comportement passif contraire à une obligation d'agir (cf. <ref-law>). N'importe quelle obligation juridique ne suffit pas. Il faut qu'elle ait découlé d'une position de garant, c'est-à-dire que l'auteur se soit trouvé dans une situation qui l'obligeait à ce point à protéger un bien déterminé contre des dangers indéterminés (devoir de protection), ou à empêcher la réalisation de risques connus auxquels des biens indéterminés étaient exposés (devoir de surveillance), que son omission peut être assimilée au fait de provoquer le résultat par un comportement actif (art. 11 al. 2 et 3 CP; <ref-ruling> consid. 6.2 p. 191 s.; <ref-ruling> consid. 4.2.1 p. 259 s. et les références citées).
2.3 Il est reproché au recourant d'avoir omis de réagir alors qu'il aurait dû remarquer le stockage non conforme des éléments préfabriqués et d'avoir omis de s'assurer de la bonne application de la procédure qu'il avait élaborée. C'est par conséquent un comportement passif qui est reproché au recourant. En qualité de chef de chantier, le recourant occupait une position de garant, ce qu'il ne conteste pas (cf. <ref-ruling> consid. 2a p. 17; arrêt 6B_1016/2009 du 11 février 2010 consid. 5.2.1). Il s'ensuit qu'il doit répondre même d'une omission.
2.4 L'<ref-law> prévoit qu'agit par négligence quiconque, par une imprévoyance coupable, commet un crime ou un délit sans se rendre compte des conséquences de son acte ou sans en tenir compte. L'imprévoyance est coupable quand l'auteur n'a pas usé des précautions commandées par les circonstances et par sa situation personnelle.
Ainsi, deux conditions doivent être remplies pour qu'il y ait négligence. En premier lieu, il faut que l'auteur ait violé les règles de la prudence, c'est-à-dire le devoir général de diligence institué par la loi pénale, qui interdit de mettre en danger les biens d'autrui pénalement protégés contre les atteintes involontaires. Un comportement dépassant les limites du risque admissible viole le devoir de prudence s'il apparaît qu'au moment des faits, son auteur aurait dû, compte tenu de ses connaissances et de ses capacités, se rendre compte de la mise en danger d'autrui (<ref-ruling> consid. 2.3.1 p. 79). Pour déterminer le contenu du devoir de prudence, il faut se demander si une personne raisonnable dans la même situation et avec les mêmes aptitudes que l'auteur aurait pu prévoir, dans les grandes lignes, le déroulement des événements et, le cas échéant, quelles mesures elle pouvait prendre pour éviter la survenance du résultat dommageable. Lorsque des prescriptions légales ou administratives ont été édictées dans un but de prévention des accidents, ou lorsque des règles analogues émanant d'associations spécialisées sont généralement reconnues, leur violation fait présumer la violation du devoir général de prudence. En second lieu, pour qu'il y ait négligence, il faut que la violation du devoir de prudence soit fautive, c'est-à-dire que l'on puisse reprocher à l'auteur, compte tenu de ses circonstances personnelles, une inattention ou un manque d'effort blâmable (ATF <ref-ruling> consid. 4.2.3 p. 262 et les références citées).
2.5 Le recourant ne remet pas en cause l'existence de prescriptions de sécurité mentionnées par la cour cantonale en référence notamment à la loi et à l'ordonnance sur la prévention des accidents (<ref-law>, RS 832.20; art. 3, 6, 8 et 41 OPA, RS 832.30) et à l'ordonnance sur les grues (art. 6, RS 832.312.15).
Le recourant est le concepteur de la fourche permettant le déplacement des éléments préfabriqués. Il a lui même élaboré la procédure d'utilisation de cette fourche, qui nécessitait un entreposage précis et spécifique des éléments préfabriqués. Cette procédure visait tant la technique de pose que la sécurisation des ouvriers. La cour cantonale a souligné que l'entreposage non conforme à la procédure prévue était visible, ce que ne conteste pas le recourant. Elle a retenu que, comme ce dernier l'avait admis, il n'avait pas prêté attention aux éléments préfabriqués bien qu'ils soient nécessairement entrés dans son champ de vision. Elle pouvait ainsi en déduire qu'en voyant le stockage non conforme, le recourant aurait dû réagir, à tout le moins se renseigner sur la bonne application de sa procédure. Le recourant ne saurait dès lors se prévaloir de n'avoir pas été mis au courant du changement de procédure. Il n'est pas non plus déterminant qu'il n'ait pas assisté à une man?uvre non conforme de la part des ouvriers, ni qu'il n'ait été présent sur le chantier que trois fois par semaine. Le recourant aurait dû, compte tenu de ses connaissances et de ses capacités, se rendre compte sur la base du stockage non conforme des éléments préfabriqués que la procédure n'était très probablement pas respectée. En tant que chef de chantier et concepteur, il savait que la procédure avait été élaborée pour éviter les risques d'écrasement. Il aurait ainsi dû se rendre compte que son non-respect créait un danger pour la sécurité et l'intégrité des ouvriers. C'est par conséquent à bon escient que la cour cantonale a retenu une violation du devoir de prudence. Cette violation est en outre fautive, dès lors que le recourant ne pouvait ignorer l'entreposage non conforme et aurait pu se renseigner sur le respect ou non de sa procédure.
2.6 En cas d'omission, la question de la causalité ne se présente pas de la même manière qu'en cas de commission. Il faut procéder par hypothèse et se demander si l'accomplissement de l'acte omis aurait, selon le cours ordinaire des choses et l'expérience de la vie, évité la survenance du résultat qui s'est produit. Pour l'analyse des conséquences de l'acte supposé, il faut appliquer les concepts généraux de la causalité naturelle et de la causalité adéquate (ATF <ref-ruling> consid. 4.4.1 p. 265; sur les notions de causalité naturelle et adéquate v. <ref-ruling> consid. 4.1.3 p. 61).
La causalité adéquate peut être exclue, l'enchaînement des faits perdant sa portée juridique, si une autre cause concomitante, par exemple une force naturelle, le comportement de la victime ou d'un tiers, constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire, que l'on ne pouvait pas s'y attendre. L'imprévisibilité d'un acte concurrent ne suffit pas en soi à interrompre le rapport de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à l'amener et notamment le comportement de l'auteur (ATF <ref-ruling> consid. 4.4.2 p. 365 s. et les arrêts cités).
2.7 S'agissant du lien de causalité hypothétique, il est hautement vraisemblable que si le recourant avait réagi à la vue du stockage non conforme des éléments préfabriqués et qu'il s'était assuré du respect de la procédure élaborée, la victime n'aurait pas effectué une man?uvre s'écartant de la procédure et ne serait ainsi pas décédée. L'intervention du recourant aurait permis, selon le cours ordinaire des choses et l'expérience de la vie, d'éviter l'accident. Le décès de la victime est donc bien en lien de causalité naturelle et adéquate avec la violation fautive du devoir de prudence du recourant.
2.8 Le recourant soutient que le lien de causalité adéquate aurait été rompu par le comportement imprévisible de la victime. L'un des buts visés par la procédure mise en place par le recourant était de garantir la sécurité des ouvriers utilisant la fourche. C'est en raison des risques de basculement, et donc d'écrasement, que la procédure du recourant impliquait que la fourche soit suspendue à la grue lors du chargement de l'élément préfabriqué. Le recourant ne saurait ainsi se prévaloir du comportement prétendument imprévisible de la victime dès lors que c'est justement pour écarter un risque d'écrasement qu'il avait prévu sa procédure. Mal fondé, le grief doit être rejeté.
2.9 Au vu de ce qui précède, la cour cantonale n'a pas violé le droit fédéral en reconnaissant le recourant coupable d'homicide par négligence.
3. Le recours doit ainsi être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens au Ministère public (<ref-law>), ni à l'intimée qui n'a pas été invitée à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet