Faits : A. Par jugement du 29 novembre 2012, le Tribunal pénal de l'arrondissement de la Sarine a reconnu X._ coupable d'abus de confiance (art. 138 CP) au préjudice de A._ pour un montant de 16'210 fr. et l'a acquitté de ce chef de prévention pour le surplus. Il l'a condamné à une peine pécuniaire de 60 jours-amende à 50 fr., avec sursis pendant 2 ans, au paiement d'une amende additionnelle de 500 fr., et à verser à A._ la somme de 16'210 fr. plus intérêts. B. Statuant sur appels de X._, A._ et du Ministère public, le Tribunal cantonal du canton de Fribourg a rejeté le premier et admis partiellement les deux autres par arrêt du 8 septembre 2014. Il a reconnu X._ coupable d'abus de confiance pour un montant de 66'210 fr. et l'a acquitté de ce chef de prévention pour le surplus. La peine pécuniaire a été portée à 180 jours-amende à 50 fr., avec sursis pendant 2 ans, et le montant de l'amende additionnelle à 1'500 francs. X._ a été condamné à verser à A._ la somme de 66'210 fr. avec intérêts à 5% l'an dès le 2 mars 2010. En substance, la condamnation de X._ repose sur les faits suivants. X._, courtier en assurances et compétent en matière de gestion de fortune, est devenu l'amant de A._ depuis l'été 2007. Dans le cadre de leur relation, A._ a notamment mis à disposition de X._, la somme de 50'000 fr. en vue de placements boursiers, par ordre de virement donné à l'UBS le 14 janvier 2008. Ce dernier a utilisé cet argent pour alimenter un compte personnel désigné comme " commun ", pour ses besoins personnels et pour payer ses impôts. Le 20 février 2009, X._ a annoncé à A._ qu'il avait décidé de rompre afin de se remettre avec son épouse. Après la date de la rupture, X._, au bénéfice de procurations sur différents comptes bancaires de A._, a opéré un transfert de 15'000 fr. en sa faveur. Il a également acheté de la lingerie fine pour son épouse, aux frais de A._, à hauteur de 1'210 francs. A._ a dénoncé ces faits en déposant une plainte pénale le 27 mars 2009 ainsi qu'un complément le 1 er mai 2009. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal et conclut en substance à son acquittement du chef de prévention d'abus de confiance, avec suite de frais et dépens. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouveau jugement.