Faits :
A.
Par jugement du 9 février 2012, le Tribunal pénal de l'arrondissement de la Sarine a reconnu X._ coupable de crime et contravention à la loi fédérale sur les stupéfiants, le condamnant à une peine privative de liberté de 3 ans, dont 18 mois fermes et 18 mois avec sursis durant 3 ans, sous déduction de la détention avant jugement et de l'exécution anticipée de peine subies, ainsi qu'au paiement d'une amende de 500 francs. Le Tribunal pénal a en outre condamné X._ au paiement d'une créance compensatrice en faveur de l'Etat de Fribourg de 10'000 fr. ainsi qu'au paiement des 4 / 5 des frais de justice, soit un émolument de 3'000 fr. et des débours à hauteur de 49'912 fr. 65.
B.
Par arrêt du 5 mai 2014, la Cour d'appel pénal du Tribunal cantonal fribourgeois a partiellement admis l'appel formé par X._, en ce sens qu'il a été condamné à une peine privative de liberté de 36 mois, dont 11 mois fermes et 25 mois avec sursis pendant 3 ans. Les débours ont été réduits à 26'896 fr. 65, le jugement étant confirmé pour le surplus, en particulier quant au montant de la créance compensatrice.
En substance, la cour cantonale a retenu que X._ avait vendu, entre 1997 à début 2010, 1'313 grammes bruts de cocaïne à une dizaine de consommateurs, dont 590 grammes à A._. Le 4 mars 2010, il en avait acheté 50 grammes en vue de les revendre.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à son acquittement du chef de prévention de crime à la LStup pour le cas A._, au prononcé d'une peine privative de liberté de 16 mois avec sursis pendant 3 ans, sous déduction de la détention provisoire et de l'exécution anticipée de peine, au paiement d'une créance compensatrice de 5'000 fr., et à sa condamnation au paiement de la moitié des frais de justice, l'autre moitié étant laissée à la charge de l'Etat de Fribourg. Subsidiairement, il conclut à l'annulation du jugement cantonal. En outre, il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant dénonce la violation du principe de la présomption d'innocence et du principe in dubio pro reoen relation avec la vente de 590 grammes de cocaïne à A._. Il reproche à la cour cantonale de ne pas avoir tenu compte de la rétractation de ce témoin, intervenue le 8 février 2012 devant le tribunal de première instance et confirmée lors des débats en appel.
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; voir sur cette notion: <ref-ruling> consid. 2.1 p. 18 s. et 138 III 378 consid. 6.1 p. 379 s.). La recevabilité d'un tel grief, ainsi que de ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (cf. <ref-ruling> consid. 10.1 p. 445 et 137 II 353 consid. 5.1 p. 356). Le reproche d'établissement arbitraire des faits se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; <ref-law>; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82 et 124 IV 86 consid. 2a p. 88).
1.2. Selon la jurisprudence, les déclarations successives d'un même témoin ne doivent pas être écartées du seul fait qu'elles sont contradictoires; il appartient au juge de retenir, sans arbitraire, la version qui lui paraît la plus convaincante et de motiver les raisons de son choix (arrêts 6B_28/2013 du 13 juin 2013 consid. 1.2 et 6B_429/2008 du 7 novembre 2008 consid. 4.2.3).
1.3. La cour cantonale a considéré que la rétractation du témoin n'était pas crédible eu égard à ses premières déclarations qui étaient précises, lucides, détaillées et riches en détails périphériques. Celles-ci étaient par ailleurs mesurées et ne correspondaient pas à des réponses qui auraient été suggérées par l'autorité. La cour s'est en outre fondée sur le fait que A._ était la belle-soeur du recourant, ce qui facilitait son approvisionnement en cocaïne, sur les déclarations d'autres témoins, sur sa confirmation par devant le juge d'instruction de ses déclarations faites devant la police, qui lui ont été relues à deux reprises, sur son revenu imposable, qui lui permettait de dépenser entre 500 fr. et 1'500 fr. par mois pour sa consommation d'héroïne, et sur le soutien économique de son mari. A l'inverse, la cour cantonale ne s'est pas déclarée convaincue par les justifications que A._ a données pour expliquer sa rétractation. En particulier, aucun élément du dossier ne permettait d'admettre que celle-ci aurait fait l'objet de menaces ou aurait eu des raisons de charger le prévenu, aucun professionnel de la justice n'ayant d'ailleurs décelé chez elle une quelconque incapacité de déposer.
1.4. Le recourant se borne à mettre en avant les problèmes psychiques de A._. Ce serait en raison de ces troubles, non décelables par les professionnels de la justice, qu'elle aurait été déstabilisée par les questions qui lui ont été posées, qu'elle aurait accusé à tort le recourant et qu'elle n'aurait pas écouté, relu et réfléchi à ce qu'elle disait lors de ses premières auditions. Il se prévaut également de la consommation de cocaïne du témoin, qui l'aurait empêchée d'avoir les idées claires.
La cour cantonale n'a pas méconnu les éléments invoqués par le recourant. Elle a exposé que la dépression et les troubles psychiques de A._ étaient récurrents et ne permettaient pas de privilégier ses déclarations devant le Tribunal pénal par rapport à ses déclarations précédentes, en particulier celles formulées en contradictoire, en présence de l'avocat du recourant, devant le juge d'instruction (cf. jugement première instance p. 6). Le recourant, qui se borne à opposer sa propre appréciation à celle de la cour cantonale, ne montre pas, par une argumentation satisfaisant aux exigences de l'<ref-law>, en quoi ce raisonnement serait manifestement insoutenable.
1.5. Le recourant prétend que les déductions faites de la situation financière de A._ n'ont aucun fondement probant. En outre, le mari de celle-ci était un consommateur de cocaïne à l'époque des faits reprochés et elle aurait pu s'adresser à lui si elle souhaitait en consommer. Il se plaint également de ce que la décision attaquée n'a pas tenu compte des relations personnelles qui ont existé entre A._ et le recourant d'une part, et entre celle-ci et le témoin B._ d'autre part, éléments qui ont pu conduire A._ à charger le recourant à tort. Enfin, il fait valoir que la précision des déclarations initiales de A._ ne peut être considérée comme un élément probant, mais plutôt le contraire au regard de l'écoulement du temps.
Cette argumentation, consistant à rediscuter l'appréciation portée par la cour cantonale sur l'ensemble des éléments de preuve dont elle disposait, est de nature essentiellement appellatoire et est irrecevable dans cette mesure.
1.6. Le recourant affirme qu'il serait incompréhensible de constater que A._ devait emprunter de l'argent. L'argument est incongru dès lors que cet état de fait ne ressort nullement de la décision cantonale.
1.7. En définitive, la cour cantonale a examiné les premières déclarations du témoin et celles valant rétractation et a apprécié les circonstances dans lesquelles A._ avait modifié ses déclarations initiales. Elle a exposé les motifs qui l'ont conduite à ne pas tenir compte de la rétractation du témoin. Ces motifs ne sont pas insoutenables. C'est donc sans arbitraire que la juridiction cantonale a retenu, à la charge du recourant, les faits dénoncés par le témoin dans ses premières déclarations et écarté sa rétractation. Dans la mesure où ils sont recevables, les griefs soulevés par le recourant doivent être rejetés.
2.
Le recourant critique la quotité de la peine qui lui a été infligée.
2.1. Il considère que l'acquittement du chef de prévention de crime contre la LStup en relation avec le cas A._ doit entraîner une réduction de peine.
En tant qu'il conteste la quotité de la peine non sur la base des faits retenus, dont il n'a pas démontré l'arbitraire, mais sur la base de faits qu'il invoque librement (cf. supra consid. 1.3 ss), le recourant n'articule aucun grief recevable tiré de l'application erronée du droit matériel (cf. 42 al. 2 LTF). Les critiques en relation avec la fixation de la peine (<ref-law>) sont donc irrecevables.
2.2. Procédant à une comparaison avec d'autres affaires, le recourant soutient qu'il se justifie de diminuer sa peine privative de liberté à 16 mois avec sursis pendant 3 ans.
Selon une jurisprudence bien établie, eu égard aux nombreux paramètres qui interviennent dans la fixation de la peine, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate car il existe presque toujours des différences entre les circonstances objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (<ref-ruling> consid. 3a p. 144; cf. aussi <ref-ruling> consid. 3.1 p. 193).
En tant qu'elle se résume à mettre en relation des quantités de stupéfiants et la durée des sanctions prononcées, la comparaison exposée par le recourant, qui méconnaît que ces quantités ne constituent qu'un élément de fixation de la peine (<ref-ruling> consid. 3.2 p. 103), est vaine.
Pour le surplus, on renvoie (cf. <ref-law>) aux considérants de la cour cantonale, qui a pris en considération, sans abuser de son large pouvoir d'appréciation, l'ensemble des éléments déterminants invoqués par le recourant.
3.
Les conclusions du recourant tendant au paiement d'une créance compensatrice de 5'000 fr. (en lieu et place de 10'000 fr.) et à sa condamnation au paiement de la moitié des frais de justice (en lieu et place de 4 / 5 ) ne font l'objet d'aucun développement dans son mémoire. Il ne formule ainsi aucun grief conforme au devoir de motivation de l'<ref-law> et ses conclusions sont irrecevables.
4.
Le recours doit être rejeté dans la mesure de sa recevabilité. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais de justice (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 14 novembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Bichovsky Suligoj