Faits : A. Statuant sur l'opposition formée par X._ contre l'ordonnance pénale du 22 août 2012 le condamnant pour violation des règles de l'art de construire, le Juge de police de la Veveyse l'a acquitté de ce chef d'infraction, par jugement du 7 mai 2013. B. Par arrêt du 22 décembre 2014, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel formé par le plaignant A._ contre la décision de première instance. Elle a reconnu X._ coupable de violation des règles de l'art de construire par négligence (art. 229 al. 2 CP) et l'a condamné à une peine pécuniaire de 30 jours-amende avec sursis pendant 2 ans, le montant du jour-amende étant fixé à 110 francs. Elle a mis les frais de procédure à la charge de X._, condamné ce dernier à verser une indemnité à A._, lequel a été renvoyé devant le Juge civil s'agissant de ses conclusions civiles. La décision cantonale se fonde en substance sur les faits suivants. B.a. Le 22 février 2007, A._, maître d'oeuvre, et X._, entrepreneur, ont conclu un contrat d'entreprise générale ayant pour objet la construction d'une villa familiale comprenant des aménagements extérieurs, dont un couvert à voitures de deux places en structure " bois " ou autre matériau équivalant. S'agissant du couvert à voitures, A._ a changé d'avis après la conclusion du contrat, désirant plutôt un garage fermé. L'architecte B._ a réalisé les plans d'un garage pour deux voitures, mesurant 6.20 mètres sur 6 mètres. X._ a choisi de sous-traiter l'édification de l'ouvrage à C._, plâtrier-peintre, lui instruisant de transformer un couvert préfabriqué en garage. Il a personnellement commandé le couvert préfabriqué auprès de la maison D._. Une fois le couvert monté par C._, des poutres et des panneaux " OSB " ont été rajoutés pour pouvoir le fermer sur trois côtés, ce contrairement aux instructions fournies par la maison D._. Une fois terminé, le garage s'est révélé trop petit, A._ ne pouvant y faire entrer sa voiture. Se fondant sur un rapport d'expertise établi le 25 juillet 2008, A._ a avisé l'entrepreneur de nombreux et importants défauts entachant notamment le garage, par courrier du 18 août 2008. Il ressortait en bref de l'expertise, que la charpente du garage présentait des défauts (éléments ne garantissant pas la résistance au vent) et que les dimensions ne correspondaient pas aux plans (4.80 mètres de long au lieu de 6 mètres). Selon l'expertise, les défauts devaient être corrigés rapidement car ils pouvaient engendrer d'autres dégâts. A la suite de pourparlers transactionnels, X._ s'est engagé à réparer les défauts constatés, mais ne s'est finalement pas exécuté. B.b. Le 27 février 2009, la toiture du garage s'est effondrée, détruisant pratiquement toute la structure. Il ressort d'un rapport d'expertise du sinistre, établi le 11 mars 2009, que les éléments d'assemblage ne sont pas des éléments de construction utilisés usuellement en charpente en bois et ne correspondent aucunement aux règles de l'art. Les moyens d'assemblage et systèmes de fixation ont cédé aux charges agissant sur la structure. A teneur du rapport d'expertise, le sinistre découle d'une conception défaillante, d'un sous-dimensionnement, d'assemblage et de matériaux inadéquats. Le garage se situait dans un quartier résidentiel où vivaient des familles avec enfants, lesquels se trouvaient régulièrement à proximité de la villa et du garage sinistré. C. X._ interjette un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut à sa réforme en ce sens qu'il est libéré du chef de prévention de violation des règles de l'art de construire par négligence et que le jugement de première instance du 7 mai 2013 est confirmé.