Faits:
A. Par jugement du 12 juillet 2010, le Tribunal pénal de l'arrondissement de la Sarine a acquitté X._ et ses deux co-prévenus du chef d'accusation de violation des règles de l'art et les a reconnus coupables d'homicide par négligence, X._ étant condamné à 30 jours-amende à 90 fr. avec sursis pendant 2 ans. Les trois co-prévenus ont en outre été condamnés à payer, solidairement entre eux, 40'000 fr. à A._ et 30'000 fr. à B._ à titre d'indemnité pour tort moral, sous suite de dépens, acte des réserves civiles étant donné pour le surplus à celles-ci. Les frais et les débours ont été mis à charge de X._ à hauteur de 30%.
B. Par arrêt du 5 juin 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a partiellement admis l'appel formé par X._, l'a condamné pour homicide par négligence à 20 jours-amende à 90 fr. et a confirmé le jugement de première instance pour le surplus.
En bref, il ressort les éléments suivants de cet arrêt.
Depuis le mois de juin 2006, C._ travaillait comme ouvrier sur un important chantier en ville de Fribourg. Le 10 novembre 2006, sur instruction de son chef d'équipe, il a gravi une échelle jusqu'à une hauteur de 6 à 8 m, afin de rectifier l'aplomb d'un mur coffré, au moyen d'un étai « tire-pousse ». Il ne portait pas de harnais et n'était équipé d'aucune autre protection contre les chutes. Soudain, l'étai a lâché et C._ a chuté, heurtant le sol de la tête. Il est décédé sur place.
X._ était, depuis le mois de juillet 2006, conducteur des travaux de ce chantier.
C. Par arrêt du 20 juin 2012, la Cour d'appel pénal a fixé les dépens dus à A._ et B._ à 33'113 fr. 15 pour les deux instances.
D. X._ forme deux recours en matière pénale contre ces arrêts. Dans celui dirigé contre l'arrêt du 5 juin 2012, il conclut à son acquittement, à sa libération des conclusions civiles sous suite de dépens et des frais de procédure de première et seconde instances et à l'allocation d'une indemnité de partie de 15'721 fr. 60 pour la seconde instance. Dans celui dirigé contre l'arrêt du 20 juin 2012, il conclut à son acquittement et à sa libération des conclusions civiles et des dépens.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant a déposé deux recours contre deux décisions distinctes prises dans la même cause par la même autorité. La conclusion tendant à sa libération du paiement des dépens n'est toutefois prise qu'en raison de celle relative à son acquittement. Il se justifie donc de joindre les deux causes et de les traiter dans un seul arrêt (<ref-law> et 71 LTF).
2. Le recourant invoque une violation de l'<ref-law>.
2.1 L'<ref-law> réprime le comportement de celui qui, par négligence, aura causé la mort d'une personne. La réalisation de cette infraction suppose ainsi la réunion de trois conditions: le décès d'une personne, une négligence et un lien de causalité entre la négligence et la mort (<ref-ruling> consid. 3 p. 147).
2.2 Les faits remontent à 2006, soit antérieurement à l'entrée en vigueur de l'<ref-law>. Toutefois, cet article ne fait que codifier la jurisprudence antérieure relative au délit d'omission improprement dit. Cette disposition n'est ainsi pas plus favorable au recourant et l'ancien droit s'applique (<ref-law>). Selon la jurisprudence antérieure, une infraction de résultat peut également être réalisée lorsque l'auteur omet par sa faute l'accomplissement d'un acte qu'il était juridiquement tenu d'accomplir et qui, selon le cours ordinaire des choses et l'expérience de la vie, aurait évité la survenance du dommage. Il faut que l'auteur ait occupé une position de garant, c'est-à-dire qu'il se soit trouvé dans une situation juridique particulière qui l'obligeait à ce point à agir que son omission apparaît comparable au fait de provoquer le résultat par un comportement actif (<ref-ruling> consid. 2a p. 132).
2.3 Il est reproché au recourant d'avoir omis d'instruire et de surveiller le respect des règles de sécurité, plus particulièrement le port du harnais pour un travail à l'échelle en hauteur. C'est par conséquent un comportement passif qui est reproché au recourant. En qualité de conducteur de travaux, le recourant occupait une position de garant (cf. <ref-ruling> consid. 2a p. 17; arrêt 6B_1016/2009 du 11 février 2010 consid. 5.2.1). Il s'ensuit qu'il doit répondre même d'une omission.
2.4 Au moment des faits, la négligence était réglée par l'art. 18 al. 3 aCP qui prévoyait que celui-là commet un crime ou un délit par négligence, qui, par une imprévoyance coupable, agit sans se rendre compte ou sans tenir compte des conséquences de son acte. L'imprévoyance est coupable quand l'auteur de l'acte n'a pas usé des précautions commandées par les circonstances et par sa situation personnelle (18 al. 3 aCP). L'<ref-law> n'a subi que des modifications rédactionnelles. Il n'apparaît ainsi pas plus favorable au recourant et c'est donc l'ancien droit qui s'applique (<ref-law>).
Deux conditions doivent être remplies pour qu'il y ait négligence. En premier lieu, il faut que l'auteur ait violé les règles de la prudence, c'est-à-dire le devoir général de diligence institué par la loi pénale, qui interdit de mettre en danger les biens d'autrui pénalement protégés contre les atteintes involontaires. Un comportement dépassant les limites du risque admissible viole le devoir de prudence s'il apparaît qu'au moment des faits, son auteur aurait dû, compte tenu de ses connaissances et de ses capacités, se rendre compte de la mise en danger d'autrui (<ref-ruling> consid. 2.3.1 p. 79). Pour déterminer le contenu du devoir de prudence, il faut se demander si une personne raisonnable dans la même situation et avec les mêmes aptitudes que l'auteur aurait pu prévoir, dans les grandes lignes, le déroulement des événements et, le cas échéant, quelles mesures elle pouvait prendre pour éviter la survenance du résultat dommageable. Lorsque des prescriptions légales ou administratives ont été édictées dans un but de prévention des accidents, ou lorsque des règles analogues émanant d'associations spécialisées sont généralement reconnues, leur violation fait présumer la violation du devoir général de prudence. En second lieu, pour qu'il y ait négligence, il faut que la violation du devoir de prudence soit fautive, c'est-à-dire que l'on puisse reprocher à l'auteur, compte tenu de ses circonstances personnelles, une inattention ou un manque d'effort blâmable (<ref-ruling> consid. 4.2.3 p. 262 et les références citées).
2.5 Le recourant ne remet pas en cause la prise en compte de prescriptions de sécurité mentionnées par la cour cantonale en référence notamment à l'ordonnance sur la prévention des accidents (art. 3, 6, 8 et 41 OPA, RS 832.30; cf. aussi la directive de la Commission fédérale de coordination pour la sécurité au travail 2369/2.f, article 2.5 al. 2, qui impose l'usage d'installations de protection contre les chutes lors du travail à l'échelle à une hauteur de plus de 5 m, mentionnée par l'autorité de première instance [jugement du 12 juillet 2010 p. 13]).
En qualité de conducteur des travaux, le recourant était responsable de la sécurité sur le chantier. A ce titre, il lui appartenait d'instruire son personnel sur les règles de sécurité et de surveiller leur respect. Le recourant prétend qu'on ne pouvait pas exiger de lui qu'il vérifie les connaissances de chaque ouvrier sur les règles élémentaires de sécurité telles que le port du harnais lors du travail à l'échelle, dès lors que le chantier avait déjà duré 15 mois avant son entrée en fonction (en juillet 2006) et qu'il ne pouvait y consacrer qu'une petite partie de son temps de travail. Même si l'on suit ce raisonnement, le recourant était à tout le moins tenu d'instruire ses subordonnés directs en leur rappelant plus particulièrement que les règles de sécurité devaient impérativement être respectées sur le chantier, au besoin en prévoyant qu'ils devaient eux-mêmes le rappeler à leurs subordonnés. Il lui incombait également, et ce tout au long du déroulement du chantier, de veiller au respect de ces règles de sécurité. A cet égard, la cour cantonale a retenu que des méthodes de travail inappropriées, incorrectes et dangereuses s'étaient développées sur le chantier pour finalement devenir une habitude, sans réaction de la part des supérieurs, ce en particulier en ce qui concerne l'absence d'usage du harnais. Elle a souligné que le chantier était complexe, plus particulièrement dans le secteur d'activité où était survenu l'accident et que le travail à effectuer le jour en question était particulier. Ces éléments ne sont pas contestés par le recourant. Après plus de quatre mois comme conducteur des travaux sur ce chantier, il ne pouvait les ignorer, même si l'ensemble de son temps de travail n'était pas consacré à ce seul chantier. C'est par conséquent à bon escient que la cour cantonale a retenu une violation du devoir de prudence. Cette violation est en outre fautive, dès lors que le recourant aurait pu et dû s'apercevoir des violations systématiques des règles en matière d'usage d'une échelle et qu'il aurait pu y remédier en instruisant et en surveillant ses subordonnés.
2.6 En cas d'omission, la question de la causalité ne se présente pas de la même manière qu'en cas de commission. Il faut procéder par hypothèse et se demander si l'accomplissement de l'acte omis aurait, selon le cours ordinaire des choses et l'expérience de la vie, évité la survenance du résultat qui s'est produit. Pour l'analyse des conséquences de l'acte supposé, il faut appliquer les concepts généraux de la causalité naturelle et de la causalité adéquate (<ref-ruling> consid. 4.4.1 p. 265; sur les notions de causalités naturelle et adéquate v. <ref-ruling> consid. 4.1.3 p. 61).
La causalité adéquate peut être exclue, l'enchaînement des faits perdant sa portée juridique, si une autre cause concomitante, par exemple une force naturelle, le comportement de la victime ou d'un tiers, constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire, que l'on ne pouvait pas s'y attendre. L'imprévisibilité d'un acte concurrent ne suffit pas en soi à interrompre le rapport de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à l'amener et notamment le comportement de l'auteur (<ref-ruling> consid. 4.4.2 p. 365 s. et les arrêts cités).
2.7 S'agissant du lien de causalité hypothétique, il est hautement vraisemblable que si le recourant avait instruit et surveillé ses subordonnés s'agissant du respect des normes de sécurité en matière de travail sur une échelle et de leur caractère impératif, le chef d'équipe de la victime ne lui aurait pas ordonné de monter à l'échelle sans protection et la victime n'aurait pas fait de chute mortelle. Le recourant ne saurait se prévaloir du fait que le chef d'équipe et le contremaître connaissaient les règles de sécurité et qu'il ne les ont pas appliquées. En effet, si le recourant avait rappelé que les normes de sécurité étaient impératives et qu'il en avait contrôlé le respect, l'accident ne se serait pas produit. L'intervention et la surveillance du recourant aurait permis, selon le cours ordinaire des choses et l'expérience de la vie, d'éviter l'accident. Le décès de la victime est donc bien en lien de causalité naturelle et adéquate avec la violation fautive du devoir de prudence du recourant.
Le recourant fait grief à la cour cantonale d'avoir retenu que s'il n'avait pas le temps de s'occuper de la surveillance du respect des normes de sécurité, il lui incombait de déléguer cette tâche. Il soutient en effet que son employeur ne lui aurait de toute façon pas mis à disposition les ressources humaines nécessaires pour ce faire. Il ne prétend, ni ne démontre toutefois qu'il aurait attiré l'attention de son employeur sur sa surcharge de travail et sur les conséquences qu'elle avait sur la surveillance du chantier, comportement qu'il aurait dû adopter au vu de la situation. Il ne démontre pas non plus que son employeur lui aurait concrètement refusé des ressources humaines à cet égard. Il ne peut ainsi se prévaloir de ces éléments pour se décharger de sa responsabilité.
2.8 Au vu de ce qui précède, la cour cantonale n'a pas violé le droit fédéral en reconnaissant le recourant coupable d'homicide par négligence.
3. Le recours contre l'arrêt du 5 juin 2012 doit ainsi être rejeté. Dès lors que la condamnation du recourant est confirmée et qu'il ne contestait l'allocation de dépens à la femme et à la fille de la victime que sous l'angle de son acquittement, son recours contre l'arrêt du 20 juin 2012 est irrecevable.
4. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens au Ministère public (<ref-law>), ni aux intimées qui n'ont pas été invitées à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 6B_468/2012 et 6B_469/2012 sont jointes.
2. Les recours sont rejetés, dans la mesure où ils sont recevables.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 24 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet