Faits : A. Par jugement du 13 janvier 2012, statuant sur appel d'un jugement du 27 septembre 2010 du Tribunal pénal de la Sarine, la Cour d'appel pénal du Tribunal cantonal fribourgeois a confirmé la condamnation de X._, notamment pour abus de confiance, à 18 mois de peine privative de liberté fermes, 30 jours-amende fermes à 100 fr. et au paiement d'une amende de 500 fr., peine partiellement complémentaire à deux autres peines prononcées antérieurement. En substance, cette autorité a retenu que X._, en sa qualité d'entrepreneur général, avait utilisé les sommes confiées par les acquéreurs-copropriétaires à des fins différentes de celles convenues dans le cadre du contrat d'entreprise générale conclu entre les parties (construction d'immeubles à plusieurs appartements constitués en propriété par étages dans le cadre du chantier de Y._), à savoir fr. 195'755 fr. 30 en dépenses non liées au chantier de Y._ et 188'747 fr. 10 en frais de fonctionnement ayant trait à d'autres chantiers, le détournement étant ramené à 245'202 fr. 40 compte tenu du bénéfice escompté, estimé à 139'300 francs. Le recours en matière pénale formé par X._ a été rejeté par le Tribunal fédéral par arrêt du 5 avril 2013 (6B_160/2012). B. Par arrêt du 27 février 2014, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté la demande de révision formée par X._ contre la décision du 13 janvier 2012. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 27 février 2014. Il requiert, avec suite de frais et dépens, principalement la réforme du jugement du 13 janvier 2012, en ce sens qu'il est condamné à une peine privative de liberté de 6 mois fermes. Subsidiairement, il conclut à son annulation.