Faits :
A.
Par jugement du 13 janvier 2012, statuant sur appel d'un jugement du 27 septembre 2010 du Tribunal pénal de la Sarine, la Cour d'appel pénal du Tribunal cantonal fribourgeois a confirmé la condamnation de X._, notamment pour abus de confiance, à 18 mois de peine privative de liberté fermes, 30 jours-amende fermes à 100 fr. et au paiement d'une amende de 500 fr., peine partiellement complémentaire à deux autres peines prononcées antérieurement.
En substance, cette autorité a retenu que X._, en sa qualité d'entrepreneur général, avait utilisé les sommes confiées par les acquéreurs-copropriétaires à des fins différentes de celles convenues dans le cadre du contrat d'entreprise générale conclu entre les parties (construction d'immeubles à plusieurs appartements constitués en propriété par étages dans le cadre du chantier de Y._), à savoir fr. 195'755 fr. 30 en dépenses non liées au chantier de Y._ et 188'747 fr. 10 en frais de fonctionnement ayant trait à d'autres chantiers, le détournement étant ramené à 245'202 fr. 40 compte tenu du bénéfice escompté, estimé à 139'300 francs.
Le recours en matière pénale formé par X._ a été rejeté par le Tribunal fédéral par arrêt du 5 avril 2013 (6B_160/2012).
B.
Par arrêt du 27 février 2014, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté la demande de révision formée par X._ contre la décision du 13 janvier 2012.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 27 février 2014. Il requiert, avec suite de frais et dépens, principalement la réforme du jugement du 13 janvier 2012, en ce sens qu'il est condamné à une peine privative de liberté de 6 mois fermes. Subsidiairement, il conclut à son annulation.

Considérant en droit :
1.
Le recourant dénonce une violation des <ref-law> et 385 CP ainsi qu'une constatation manifestement inexacte des faits.
1.1. L'<ref-law> permet à toute personne lésée par un jugement entré en force d'en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné.
S'agissant d'une révision en faveur du condamné, le motif de révision prévu à l'<ref-law> correspond à celui de l'<ref-law>, qui n'a d'ailleurs formellement pas été abrogé (arrêts 6B_1039/2013 du 10 mars 2014 consid. 2.1 et 6B_393/2012 du 12 novembre 2012 consid. 1.1.1).
Les faits ou moyens de preuve sont inconnus lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit (<ref-ruling> consid. 5.1.2 p. 66 s.). Pour que l'on puisse se convaincre qu'un élément de preuve ressortant du dossier est resté inconnu du juge, il faut tout d'abord que cet élément soit à ce point probant, sur une question décisive, que l'on ne puisse imaginer que le juge ait statué dans le même sens s'il en avait pris connaissance. S'il y a matière à appréciation et discussion, cela exclut que l'inadvertance soit manifeste. Cette première condition ne suffit cependant pas, parce que cela permettrait de se plaindre en tout temps d'une appréciation arbitraire des preuves non explicitée. Il faut encore que des circonstances particulières montrent que cette situation est due à l'ignorance du moyen de preuve, et non pas à l'arbitraire. Cette question doit être examinée de cas en cas, en tenant compte, non pas seulement de la teneur du jugement critiqué, mais de l'ensemble des circonstances. Celles-ci doivent faire apparaître à l'évidence que le juge n'a pas eu connaissance d'un moyen de preuve figurant à la procédure. Dans le doute, on doit supposer qu'il a pris connaissance de toutes les pièces du dossier (<ref-ruling> consid. 2b p. 69; arrêts 6B_731/2013 du 28 novembre 2013 consid. 3.1.2 et 6B_683/2011 du 21 novembre 2011 consid. 4.2.1).
Les faits ou moyens de preuve sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné lorsqu'ils sont propres à ébranler les constatations de fait sur lesquelles se fonde la condamnation et lorsque l'état de fait ainsi modifié rend vraisemblable le prononcé d'un jugement sensiblement plus favorable au condamné (<ref-ruling> consid. 5.1.4 p. 68).
1.2. Savoir si l'autorité cantonale s'est fondée sur une juste conception de faits ou de moyens de preuve nouveaux et sérieux est une question de droit. En revanche, savoir si un fait ou un moyen de preuve était effectivement inconnu du juge est une question de fait qui peut être revue pour arbitraire dans l'établissement des faits et l'appréciation des preuves. Il en va de même de la question de savoir si un fait nouveau ou un moyen de preuve nouveau est propre à modifier l'état de fait retenu puisqu'elle relève de l'appréciation des preuves, étant rappelé qu'une vraisemblance suffit au stade du rescindant (<ref-ruling> consid. 1 p. 73).
1.3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur cette notion, cf. <ref-ruling> consid. 2.1 p. 18 s. et 138 III 378 consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
2.
2.1. Le recourant invoque de nombreux faits qui ne ressortent pas de l'arrêt entrepris. Faute pour lui de démontrer, conformément aux exigences posées par l'<ref-law>, en quoi leur omission serait arbitraire, cela tant dans la motivation que dans le résultat de la décision, il ne peut en être tenu compte. Il en va en particulier ainsi des faits exposés en pages 3 à 11 du recours.
2.2. Le recourant remet en cause le montant du préjudice invoqué initialement par la Banque A._. Il soutient avoir découvert après sa condamnation que certains montants payés par la Banque A._ à des sous-traitants n'étaient pas dus, ou étaient surfaits. Ces montants, pour un total de 173'600 fr., devraient dès lors lui profiter, en réduisant d'autant la somme de 245'202 fr. 40 retenue à sa charge à titre d'abus de confiance. L'abus de confiance porterait ainsi sur un montant sensiblement plus faible que celui retenu, de sorte qu'une réduction de la peine privative de liberté, ramenée à six mois de privation de liberté, serait justifiée.
2.3. La cour cantonale a retenu que le recourant fondait ses allégations sur le rapport du 26 novembre 2007 de B._ SA et sur le décompte de la Banque A._ du 30 octobre 2008 (créances cédées à la Banque A._ par les maîtres d'état dans le cadre du chantier de Y._). Partant, elle a considéré que les pièces invoquées par le recourant étaient déjà connues des autorités ayant prononcé la condamnation et ne pouvaient donc être qualifiées de nouvelles. Par ailleurs, le recourant avait déjà soulevé certains griefs relatifs aux montants versés par la banque aux sous-traitants en première instance, griefs qui n'avaient pas été examinés au motif qu'ils relevaient de l'aspect civil du litige. Enfin, le rôle de la Banque A._, voire son éventuel préjudice, n'étaient pas susceptibles de remettre en question la condamnation du recourant pour abus de confiance au détriment des acquéreurs-copropriétaires.
En retenant que les éléments invoqués étaient connus de l'autorité de jugement, la cour cantonale a tranché une question de fait. Le recourant ne cherche pas à démontrer en quoi les différents éléments exposés par la cour cantonale pour nier le caractère inconnu des pièces qu'il invoque et la remise en question de l'état de fait à l'origine de sa condamnation procéderaient d'une appréciation arbitraire des preuves, même sous l'angle de la seule vraisemblance. Au contraire, dans une argumentation largement appellatoire, il se contente d'énumérer un certain nombre de sous-traitants qui auraient été payés indûment ou de manière surfaite par la Banque A._, sans établir en quoi les éléments qu'il invoque, résultant du dossier pénal (cf. respectivement pièces 8'598 ss et 9'367 ss) étaient inconnus des autorités l'ayant condamné. Par ailleurs, le recourant se méprend également lorsqu'il allègue que le rôle de la Banque A._ serait susceptible d'avoir pour conséquence une diminution du montant retenu à sa charge à titre d'abus de confiance. En effet, ayant repris le chantier en mains, la banque s'est contentée de verser des montants dus à des sous-traitants. Dans ce contexte, il ne peut donc rien tirer en sa faveur du fait que c'est la Banque A._ qui a géré le chantier et payé les entreprises qui ont effectué les travaux.
Au vu de ce qui précède, la cour cantonale pouvait considérer sans arbitraire que les éléments invoqués par le recourant étaient non seulement connus des juges qui ont prononcé sa condamnation, mais également qu'ils ne comportaient aucun élément propre à rendre vraisemblable une modification de l'état de fait susceptible d'aboutir à une modification de sa condamnation.
2.4. Pour le surplus, le recourant critique la manière dont l'autorité qui a prononcé sa condamnation a apprécié les moyens de preuve, connus d'elle, et constaté les faits. Ce faisant, il méconnaît que la voie de la révision est une voie de droit extraordinaire qui ne saurait être utilisée pour remettre en question l'appréciation des preuves au dossier opérée par l'autorité l'ayant condamné, appréciation par ailleurs jugée non arbitraire par le Tribunal fédéral dans son arrêt 6B_160/2012 du 5 avril 2013 (cf. <ref-ruling> consid. 6 in fine p. 138).
3.
Le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 10 novembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Bichovsky Suligoj