Faits :
A.
Par jugement du 29 novembre 2012, le Tribunal pénal de l'arrondissement de la Sarine a reconnu X._ coupable d'abus de confiance (<ref-law>) au préjudice de A._ pour un montant de 16'210 fr. et l'a acquitté de ce chef de prévention pour le surplus. Il l'a condamné à une peine pécuniaire de 60 jours-amende à 50 fr., avec sursis pendant 2 ans, au paiement d'une amende additionnelle de 500 fr., et à verser à A._ la somme de 16'210 fr. plus intérêts.
B.
Statuant sur appels de X._, A._ et du Ministère public, le Tribunal cantonal du canton de Fribourg a rejeté le premier et admis partiellement les deux autres par arrêt du 8 septembre 2014. Il a reconnu X._ coupable d'abus de confiance pour un montant de 66'210 fr. et l'a acquitté de ce chef de prévention pour le surplus. La peine pécuniaire a été portée à 180 jours-amende à 50 fr., avec sursis pendant 2 ans, et le montant de l'amende additionnelle à 1'500 francs. X._ a été condamné à verser à A._ la somme de 66'210 fr. avec intérêts à 5% l'an dès le 2 mars 2010.
En substance, la condamnation de X._ repose sur les faits suivants.
X._, courtier en assurances et compétent en matière de gestion de fortune, est devenu l'amant de A._ depuis l'été 2007. Dans le cadre de leur relation, A._ a notamment mis à disposition de X._, la somme de 50'000 fr. en vue de placements boursiers, par ordre de virement donné à l'UBS le 14 janvier 2008. Ce dernier a utilisé cet argent pour alimenter un compte personnel désigné comme " commun ", pour ses besoins personnels et pour payer ses impôts.
Le 20 février 2009, X._ a annoncé à A._ qu'il avait décidé de rompre afin de se remettre avec son épouse. Après la date de la rupture, X._, au bénéfice de procurations sur différents comptes bancaires de A._, a opéré un transfert de 15'000 fr. en sa faveur. Il a également acheté de la lingerie fine pour son épouse, aux frais de A._, à hauteur de 1'210 francs.
A._ a dénoncé ces faits en déposant une plainte pénale le 27 mars 2009 ainsi qu'un complément le 1 er mai 2009.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal et conclut en substance à son acquittement du chef de prévention d'abus de confiance, avec suite de frais et dépens. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouveau jugement.

Considérant en droit :
1.
Le recourant conteste s'être rendu coupable d'abus de confiance tant pour la somme de 50'000 fr. que pour celles de 15'000 fr. et 1'210 francs. Il invoque une constatation arbitraire des faits ainsi que la violation du principe de la présomption d'innocence.
1.1. Dans le recours en matière pénale, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire: <ref-ruling> consid. 2.1 p. 18 s.). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst., <ref-law>, art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266). En tant que le recourant tente uniquement de démontrer que la cour cantonale aurait dû éprouver des doutes sur certains points, les moyens déduits de l'arbitraire et de la présomption d'innocence n'ont pas de portée distincte (cf. <ref-ruling> consid. 7 p. 82).
1.2. Commet un abus de confiance au sens de l'<ref-law>, celui qui, sans droit, aura employé à son profit ou au profit d'un tiers, des valeurs patrimoniales qui lui avaient été confiées.
Sur le plan objectif, l'infraction suppose qu'une valeur ait été confiée, autrement dit que l'auteur ait acquis la possibilité d'en disposer, mais que, conformément à un accord (exprès ou tacite) ou un autre rapport juridique, il ne puisse en faire qu'un usage déterminé, en d'autres termes, qu'il l'ait reçue à charge pour lui d'en disposer au gré d'un tiers, notamment de la conserver, de la gérer ou de la remettre (<ref-ruling> consid. 6.2 p. 27). Le comportement délictueux consiste à utiliser la valeur patrimoniale contrairement aux instructions reçues, en s'écartant de la destination fixée (<ref-ruling> consid. 2.2.1 p. 259). Peu importe que le titulaire économique puisse encore en disposer. Il suffit que l'auteur soit mis en mesure de le faire (<ref-ruling> consid. 2 p. 127; <ref-ruling> consid. 3 p. 29 s.). L'alinéa 2 de l'<ref-law> ne protège pas la propriété, mais le droit de celui qui a confié la valeur patrimoniale à ce que celle-ci soit utilisée dans le but qu'il a assigné et conformément aux instructions qu'il a données; est ainsi caractéristique de l'abus de confiance au sens de cette disposition le comportement par lequel l'auteur démontre clairement sa volonté de ne pas respecter les droits de celui qui lui fait confiance (<ref-ruling> consid. 2.2.1 p. 259; <ref-ruling> consid. 1c p. 25; <ref-ruling> consid. 2 p. 128).
Du point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime. Celui qui dispose à son profit ou au profit d'un tiers d'un bien qui lui a été confié et qu'il s'est engagé à tenir en tout temps à disposition de l'ayant droit s'enrichit illégitimement s'il n'a pas la volonté et la capacité de le restituer immédiatement en tout temps. Celui qui ne s'est engagé à tenir le bien confié à disposition de l'ayant droit qu'à un moment déterminé ou à l'échéance d'un délai déterminé s'enrichit illégitimement que s'il n'a pas la volonté et la capacité de le restituer à ce moment précis (<ref-ruling> consid. 3a p. 29). Le dessein d'enrichissement illégitime fait en revanche défaut si, au moment de l'emploi illicite de la valeur patrimoniale, l'auteur en paie la contre-valeur (cf. <ref-ruling> consid. 2a p. 167), s'il avait à tout moment ou, le cas échéant, à la date convenue à cet effet, la volonté et la possibilité de la faire ("Ersatzbereitschaft"; <ref-ruling> consid. 2a p. 34) ou encore s'il était en droit de compenser (<ref-ruling> consid. 3a p. 34). Le dessein d'enrichissement peut être réalisé par dol éventuel; tel est le cas lorsque l'auteur envisage l'enrichissement comme possible et agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 6.1.2 p. 27; <ref-ruling> consid. 3a p. 29 s., 32 consid. 2a p. 34 ; <ref-ruling> consid. 3a p. 34).
2.
2.1. Le recourant reproche à la cour cantonale d'avoir arbitrairement retenu que le montant de 50'000 fr. avait été confié par l'intimée à des fins de gestion alors que cette somme lui avait été offerte, respectivement attribuée par une femme éprise de lui.
2.1.1. Mettant en évidence les contradictions dans les déclarations du recourant quant au fondement du transfert de 50'000 fr. le 14 janvier 2008, et la constance de celles de l'intimée, la cour cantonale a retenu que cette dernière avait bel et bien remis cette somme au recourant aux fins de gestion, en vue de l'achat d'actions. En effet, le recourant avait d'abord parlé d'un cadeau ou d'un don offert par la plaignante (auditions des 6 mai et 5 juin 2009), puis avait qualifié ce montant de rémunération représentant 3% des dossier-titres qu'il devait gérer pour elle (audition du 20 octobre 2009), pour enfin mentionner que ces 50'000 fr. étaient des frais d'acquisition (audition du 29 août 2012). La cour cantonale a estimé que ces nombreuses variations n'emportaient pas la conviction. Par ailleurs, un don de 50'000 fr. entre deux personnes - qui certes s'aimaient mais ne se connaissaient que depuis quelques mois - paraissait douteux, au même titre qu'une rémunération anticipée pour des opérations qui n'avaient même pas débuté. Ce dernier procédé n'était d'ailleurs pas conforme aux usages en matière de gestion de fortune. En outre, le fait que le virement de 50'000 fr. en faveur du recourant soit intervenu 3 jours seulement après qu'un fond de placement UBS d'une valeur de 49'308 fr. soit arrivé à échéance et crédité sur le compte UBS de l'intimée, rendait parfaitement plausible que cette dernière ait décidé de faire gérer ce montant par le recourant plutôt que par ses gestionnaires traditionnels, qu'elle estimait trop onéreux.
Soulignant que le recourant avait admis qu'il utilisait cet argent notamment pour ses besoins personnels et payer ses impôts, la cour cantonale en a déduit une volonté d'appropriation des valeurs patrimoniales qui lui avaient été confiées, dans un dessein d'enrichissement illégitime, alors qu'il n'avait pas la possibilité ou la volonté d'en restituer en tout temps l'équivalent.
2.1.2. Contrairement à ce qu'affirme le recourant, il n'apparaît nullement que l'autorité cantonale aurait renversé le fardeau de la preuve. Elle a dûment examiné les éléments dont elle disposait. Elle a motivé les raisons qui l'ont amenée à accorder foi aux déclarations de l'intimée plutôt qu'à celles du recourant. Sa critique revient en réalité à se plaindre d'arbitraire dans l'appréciation des preuves. A cet égard, la constance du recourant dans l'affirmation que le montant de 50'000 fr. lui appartenait ne rend pas arbitraire l'appréciation de la cour cantonale selon laquelle ses propos ne sont pas crédibles en raison de ses déclarations divergentes au gré de ses auditions quant à la justification du versement du montant précité. Même si l'on voulait suivre le recourant pour retenir qu'il peut arriver que le versement d'honoraires pour la gestion puisse se faire de manière anticipée comme il le décrit, cette constatation ne rendrait pas arbitraire l'appréciation cantonale selon laquelle rien ne permet de retenir que le recourant a reçu la libre disposition de ces fonds que ce soit au titre de donation, de rémunération ou de frais d'acquisition. La seule circonstance qu'il ait été l'amant de l'intimée, qu'elle était très éprise de lui, ou encore qu'il ait conçu des projets de mariage, est impropre à établir que l'argent lui avait été offert à un titre ou un autre. Enfin, il n'y a nulle contradiction pour la cour cantonale d'avoir considéré que le doute devait profiter au recourant pour les autres sommes d'argent dont l'intimée se plaignait d'avoir été également frustrée pour la période comprise entre le 16 janvier 2008 et la rupture (19-20 février 2009), dès lors que sa motivation pour ces montants se fonde sur des circonstances différentes de celles relatives au versement de 50'000 francs. Pour le surplus le recourant se livre, de manière appellatoire, partant irrecevable, à sa propre appréciation de la crédibilité des déclarations respectives des parties pour privilégier la sienne.
En tant que le recourant reproche à la cour cantonale de ne pas s'être interrogée sur la possibilité qu'il avait de restituer le montant confié, par l'invocation d'une compensation, il ne motive pas son grief de manière qui satisfasse aux exigences de l'<ref-law>. Aucun élément ne permet de déterminer si et dans quelle mesure le recourant avait le droit à la moitié des bénéfices et à quel montant ceux-ci s'élevaient. En tout état, il omet que le dessein d'enrichissement illégitime se fonde non seulement sur la possibilité de restituer les valeurs confiées mais également sur la volonté de le faire. Or, la cour cantonale a retenu qu'il n'avait pas la volonté de restituer en tout temps l'équivalent de la valeur confiée, ce que le recourant ne conteste pas sous l'angle de l'arbitraire. Le grief est rejeté, dans la mesure où il est recevable.
2.2. Le recourant conteste la réalisation de l'élément subjectif de l'infraction d'abus de confiance, s'agissant de la somme de 16'210 fr. (1'210 + 15'000).
2.2.1. Savoir ce que l'auteur voulait, savait ou ce dont il s'accommodait relève du contenu de la pensée, donc de l'établissement des faits (<ref-ruling> consid. 2.3.2 p. 156).
2.2.2. La cour cantonale a retenu, à l'instar des premiers juges, qu'après la date de la rupture, l'intimée n'avait pas pu consentir à l'achat de lingerie fine pour l'épouse du recourant d'un montant de 1'210 fr. prélevé le 19 février 2009 et à un virement de 15'000 fr. effectué par le recourant le 20 février 2009 en sa faveur. Il avait ainsi agi intentionnellement, dans le dessein de s'enrichir illégitimement.
2.2.3. L'affirmation selon laquelle il a prélevé ces deux montants en toute bonne foi, pensant que l'argent provenait de sa mère est nouvelle et partant irrecevable (art. 99 al. 1 et 106 al. 2 LTF). Il ne saurait se borner à contester la réalisation de l'aspect subjectif en se contentant de reprocher à la cour cantonale de ne pas avoir examiné s'il était en mesure de rembourser cette somme, notamment au vu de son salaire. En effet, il omet, une fois de plus qu'il ne suffit pas d'avoir la possibilité de restituer le montant confié, encore faut-il le vouloir, aspect qui fait défaut à teneur du jugement cantonal, lequel n'est d'ailleurs pas critiqué sur ce point.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 9 juillet 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj