Faits :
A.
Statuant sur l'opposition formée par X._ contre l'ordonnance pénale du 22 août 2012 le condamnant pour violation des règles de l'art de construire, le Juge de police de la Veveyse l'a acquitté de ce chef d'infraction, par jugement du 7 mai 2013.
B.
Par arrêt du 22 décembre 2014, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel formé par le plaignant A._ contre la décision de première instance. Elle a reconnu X._ coupable de violation des règles de l'art de construire par négligence (<ref-law>) et l'a condamné à une peine pécuniaire de 30 jours-amende avec sursis pendant 2 ans, le montant du jour-amende étant fixé à 110 francs. Elle a mis les frais de procédure à la charge de X._, condamné ce dernier à verser une indemnité à A._, lequel a été renvoyé devant le Juge civil s'agissant de ses conclusions civiles.
La décision cantonale se fonde en substance sur les faits suivants.
B.a. Le 22 février 2007, A._, maître d'oeuvre, et X._, entrepreneur, ont conclu un contrat d'entreprise générale ayant pour objet la construction d'une villa familiale comprenant des aménagements extérieurs, dont un couvert à voitures de deux places en structure " bois " ou autre matériau équivalant.
S'agissant du couvert à voitures, A._ a changé d'avis après la conclusion du contrat, désirant plutôt un garage fermé. L'architecte B._ a réalisé les plans d'un garage pour deux voitures, mesurant 6.20 mètres sur 6 mètres. X._ a choisi de sous-traiter l'édification de l'ouvrage à C._, plâtrier-peintre, lui instruisant de transformer un couvert préfabriqué en garage. Il a personnellement commandé le couvert préfabriqué auprès de la maison D._. Une fois le couvert monté par C._, des poutres et des panneaux " OSB " ont été rajoutés pour pouvoir le fermer sur trois côtés, ce contrairement aux instructions fournies par la maison D._.
Une fois terminé, le garage s'est révélé trop petit, A._ ne pouvant y faire entrer sa voiture. Se fondant sur un rapport d'expertise établi le 25 juillet 2008, A._ a avisé l'entrepreneur de nombreux et importants défauts entachant notamment le garage, par courrier du 18 août 2008. Il ressortait en bref de l'expertise, que la charpente du garage présentait des défauts (éléments ne garantissant pas la résistance au vent) et que les dimensions ne correspondaient pas aux plans (4.80 mètres de long au lieu de 6 mètres). Selon l'expertise, les défauts devaient être corrigés rapidement car ils pouvaient engendrer d'autres dégâts. A la suite de pourparlers transactionnels, X._ s'est engagé à réparer les défauts constatés, mais ne s'est finalement pas exécuté.
B.b. Le 27 février 2009, la toiture du garage s'est effondrée, détruisant pratiquement toute la structure. Il ressort d'un rapport d'expertise du sinistre, établi le 11 mars 2009, que les éléments d'assemblage ne sont pas des éléments de construction utilisés usuellement en charpente en bois et ne correspondent aucunement aux règles de l'art. Les moyens d'assemblage et systèmes de fixation ont cédé aux charges agissant sur la structure. A teneur du rapport d'expertise, le sinistre découle d'une conception défaillante, d'un sous-dimensionnement, d'assemblage et de matériaux inadéquats.
Le garage se situait dans un quartier résidentiel où vivaient des familles avec enfants, lesquels se trouvaient régulièrement à proximité de la villa et du garage sinistré.
C.
X._ interjette un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut à sa réforme en ce sens qu'il est libéré du chef de prévention de violation des règles de l'art de construire par négligence et que le jugement de première instance du 7 mai 2013 est confirmé.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.3 p. 266). Le Tribunal fédéral n'examine la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266).
Il n'y a pas lieu d'entrer en matière sur la présentation des faits figurant en tête du mémoire de recours, faute de grief.
2.
Le recourant fait valoir qu'en raison de la transformation du couvert en garage, postérieurement à la signature du contrat d'entreprise, il ne revêtait pas la qualité de directeur des travaux et se qualifie de simple intermédiaire. Il en déduit qu'aucune violation des règles de l'art ne peut lui être imputée.
Les violations des règles de l'art reprochées en l'espèce n'étant pas contestées, il s'agit de déterminer à qui il incombait de les respecter.
2.1. Selon l'<ref-law>, celui qui par négligence aura enfreint les règles de l'art en dirigeant ou en exécutant une construction ou une démolition et aura ainsi, par négligence, mis en danger la vie ou l'intégrité corporelle des personnes sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
2.1.1. Celui qui collabore à la direction ou à l'exécution d'une construction est responsable du respect, dans son domaine, des règles de l'art de construire (<ref-ruling> consid. 2a p. 17; arrêts 6B_1016/2009 du 11 février 2010 consid. 5.2.1; 6S.237/2002 du 26 juillet 2002 consid. 3.1). La responsabilité pénale d'un participant à la construction se détermine sur la base des prescriptions légales, des accords contractuels ou des fonctions exercées, ainsi que des circonstances concrètes (arrêts 6B_1016/2009 du 11 février 2010 consid. 5.2.1; 6P.58/2003 du 3 août 2004 consid. 6.1 publié in Pra 2005 n° 29 p. 214 ss; cf. <ref-ruling> consid. 4 p. 121). Chacun est tenu, dans son domaine de compétence, de déployer la diligence que l'on peut attendre de lui pour veiller au respect des règles de sécurité (BERNARD CORBOZ, Les infractions en droit suisse, vol. II, 3è éd. 2010, p. 99 n° 17 ad <ref-law>). Certes, la règle doit, de manière générale, être respectée par celui qui accomplit l'activité qu'elle régit; toutefois, il existe aussi, pour ceux qui dirigent les travaux, le devoir de donner les instructions nécessaires et de surveiller l'exécution (BERNARD CORBOZ, ibidem; cf. <ref-ruling> consid. 4 p. 102; arrêts 6B_516/2009 du 3 novembre 2009 consid. 3.3.1; 6S.181/2002 du 30 janvier 2003 consid. 3.2.1; 6S.237/2002 du 27 juillet 2002 consid. 3.1). Il est donc fréquent que plusieurs personnes, compte tenu de leur domaine de compétence respectif, soient responsables d'une seule et même violation des règles de l'art (arrêts 6B_516/2009 du 3 novembre 2009 consid. 3.3.1; 6P.58/2003 du 3 août 2004 consid. 6.1 publié in Pra 2005 n° 29 p. 214 ss).
Le directeur des travaux est tenu de veiller au respect des règles de l'art de construire et répond aussi bien d'une action que d'une omission (arrêts 6B_566/2011 du 13 mars 2012 consid. 2.3.3; 6S.91/1996 du 12 avril 1996 consid. 2b; cf. <ref-ruling> consid. 2a p. 17). L'omission peut consister à ne pas surveiller, à ne pas contrôler le travail ou à tolérer une exécution dangereuse (BERNARD CORBOZ, op. cit., n° 18 p. 99; DONATSCH/WOHLERS, Strafrecht IV, Delikte gegen die Allgemeinheit, 4e éd. 2011, p. 67).
2.1.2. Dirige les travaux la personne qui choisit les exécutants, donne les instructions et les recommandations nécessaires, surveille l'exécution des travaux et coordonne l'activité des entrepreneurs (arrêts 6B_1016/2009 du 11 février 2010 consid. 5.2.2 et les références citées; 6S.237/2002 du 26 juillet 2002 consid. 3.1 et les références citées).
2.2. La cour cantonale a retenu que, contrairement à l'architecte, le recourant, en sa qualité d'entrepreneur général, assumait la direction des travaux dans le cadre de la construction du garage litigieux. Les déclarations du plaignant, du recourant et du sous-traitant concordaient sur le fait que l'architecte n'avait pas suivi la construction du garage, se limitant à l'établissement initial des plans (cf. arrêt attaqué consid. 2.c.aa p. 9 et les références aux PV d'auditions des parties). En outre, à teneur du contrat d'entreprise générale du 22 février 2007, la direction des travaux était assurée par l'entreprise générale seule ou toutes personnes autorisées par celle-ci.
Les juges cantonaux ont retenu que le recourant avait violé les règles de l'art à plusieurs niveaux. Il avait violé son devoir de diligence dans le choix des exécutants (plâtrier-peintre plutôt que professionnel du bois), en ordonnant la pose de panneaux OSB sur le couvert préfabriqué contrairement aux indications du fabricant, sans prendre l'avis d'un ingénieur, et en omettant tant de surveiller les travaux que de remédier aux défauts annoncés.
2.3. Il ressort des faits retenus en instance cantonale que le recourant a personnellement commandé le couvert préfabriqué, choisi de sous-traiter la construction de l'ouvrage à C._ et ordonné la pose de panneaux OSB pour transformer le couvert. Le recourant a également été personnellement informé des défauts de construction constatés notamment par l'expertise du 25 juillet 2008 et s'est engagé à les faire réparer sans pour autant s'exécuter. Ces éléments de fait qui lient le Tribunal fédéral ne font l'objet d'aucune contestation sous l'angle de l'arbitraire. Au vu du contrat d'entreprise et dans la mesure où le recourant a déterminé les matériaux, planifié et organisé le travail, et choisi les exécutants en leur donnant des instructions, ce dernier assumait la direction des travaux de construction du garage au sens de l'<ref-law>. A ce titre, il était tenu de respecter les règles de l'art de construire, à tout le moins d'y veiller.
Le recourant ne saurait se soustraire à son obligation de diriger les travaux et aux devoirs qui en découlent en invoquant la conception des plans par l'architecte. En effet, la responsabilité de l'architecte ne serait pas de nature à disculper le recourant, étant rappelé que plusieurs personnes peuvent être responsables d'une même violation des règles de l'art en fonction de leur domaine de compétence (cf. arrêt 6B_543/2012 du 11 avril 2013 consid. 1.3.3). En tout état, aucune violation des règles de l'art n'a été retenue en lien avec la conception de l'ouvrage, en l'espèce (cf. ROELLI/FLEISCHANDERL, in Basler Kommentar, Strafrecht II, 3ème éd., 2013, n° 10 ad art. 229, sur la responsabilité de l'architecte relative à la seule conception des plans).
Il importe peu que la décision de construire un garage plutôt qu'un couvert soit subséquente au contrat d'entreprise, modifiant ainsi le projet initial. En effet, le recourant savait d'emblée que le maître d'oeuvre souhaitait un garage et a malgré tout préféré commander un couvert dans l'idée de le transformer en garage plutôt que de prendre les mesures qui s'imposaient (cf. arrêt attaqué consid. 3 p. 16). Sur ce point, le contrat prévoyait d'ailleurs expressément la possibilité d'effectuer des modifications, moyennant une rémunération supplémentaire (cf. arrêt attaqué consid. 3 p. 16; contrat d'entreprise art. 4.1). A teneur de ce même contrat, toute modification devait faire l'objet d'un avenant détaillé et chiffré de la plus-value, lequel devait être impérativement signé par le maître d'ouvrage avant toute mise en oeuvre (<ref-law>; cf. contrat d'entreprise art. 4.4). Aussi, la modification du projet initial ne permet pas au recourant de se soustraire à sa responsabilité.
C'est de manière purement appellatoire, partant irrecevable, que le recourant affirme n'avoir aucune connaissance spécifique en rapport avec la réalisation de l'ouvrage litigieux et en déduit un statut d'intermédiaire. En particulier, il ne démontre pas que la construction d'un garage échapperait à son domaine de compétence, contrairement à celle du couvert, respectivement de la villa. C'est ainsi en vain qu'il tente, en tant que directeur des travaux occupant une position de garant, de se disculper au préjudice d'un spécialiste. D'ailleurs, faute pour le recourant d'avoir sous-traité la réalisation de l'ouvrage à un spécialiste (cf. arrêt attaqué consid. 2.d.bb p. 12), il ne saurait se décharger de son obligation de surveillance (cf. arrêt 6B_1016/2009 du 11 février 2010 consid. 5.2.2 et les références citées). En tout état, il lui appartenait d'intervenir dès réception de l'avis des défauts du 18 août 2008, accompagné de l'expertise mentionnant les risques engendrés par les vices constatés.
Au vu de ce qui précède, c'est à bon droit que la cour cantonale a imputé au recourant les violations des règles de l'art de construire reprochées, lesquelles ne sont pas remises en cause.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 29 janvier 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke