Faits: A. Par jugement du 27 septembre 2010, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._ pour abus de confiance, conduite sans assurance-responsabilité civile, violations de la LEtr, de la LSEE, de la LAVS, de la LAA et de l'ordonnance relative à une redevance pour l'utilisation des routes nationales à une peine privative de liberté de 18 mois ferme, à une peine pécuniaire de 30 jours-amende ferme, à 100 fr. le jour, et au paiement d'une amende de 500 fr., peines partiellement complémentaires à celles prononcées les 20 juin 2007, 28 janvier 2008 et 19 février 2009. B. Par arrêt du 13 janvier 2012, la Cour d'appel pénal du Tribunal cantonal de Fribourg a rejeté le recours formé par X._. Les faits pertinents constatés par cette autorité, qui fait sien l'état de fait retenu par l'autorité de première instance, sont en ce qui concerne l'infraction d'abus de confiance les suivants: B.a X._ a décidé de construire, en qualité d'entrepreneur général, trois bâtiments avec trois appartements chacun sur le bien-fonds de A._ sis à Misery. B.b X._ et A._ ont passé des contrats de vente et d'entreprise avec 16 acquéreurs entre le 3 février 2005 et le 6 avril 2006. A teneur desdits contrats, X._ s'obligeait, en tant qu'entrepreneur général, à payer tous les entrepreneurs et artisans pour les travaux et livraisons exécutés et compris dans le contrat d'entreprise et veillait à ce que des hypothèques légales inscrites au registre foncier soient immédiatement radiées. Par le contrat d'entreprise général faisant partie intégrante du contrat de vente et d'entreprise susmentionné, X._, au nom de sa raison individuelle intervenant comme entreprise générale, s'engageait, sans restriction, à n'utiliser le montant des versements du maître de l'ouvrage que pour le règlement des factures relatives à la construction faisant l'objet du contrat d'entreprise. En août 2006, après revente par l'un des acquéreurs, le nouveau propriétaire a également conclu un contrat d'entreprise avec X._, cette fois-ci au nom de B._ SA dont il était directeur avec signature individuelle. Les montants totaux que X._ devait percevoir des acquéreurs s'élevaient à 2'910'000 francs. X._ escomptait réaliser un bénéfice de 139'300 francs. B.c Dans le cadre du chantier de Misery, X._ a utilisé le compte privé ouvert au nom de ses enfants, sur lequel il bénéficiait d'une procuration l'autorisant à disposer seul et de manière illimitée de tous les actifs. Le montant de 2'769'219 fr. 79 a été versé sur ce compte par les acquéreurs entre février 2005 et juillet 2006. B.d Sur les montants reçus, 195'755 fr. 30 n'ont pas servi à acquitter des dépenses liées au chantier de Misery. En outre, 188'747 fr. 10 ont été utilisés afin de payer des frais de fonctionnement afférents à d'autres chantiers. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal, de même qu'à la réforme de cette décision en ce sens qu'un acquittement est prononcé "du chef de prévention d'abus de confiance (art. 138 ch. 1 CP) [...]", qu'il est condamné à une peine privative de liberté de 6 mois avec sursis pendant 5 ans, peine partiellement complémentaire aux trois décisions susmentionnées, et qu'il supporte un quart des frais de procédure, le solde étant laissé à la charge de l'Etat. Subsidiairement, il sollicite le renvoi de la cause à l'autorité cantonale pour nouveau jugement. Aucun échange d'écriture n'a été ordonné.