Faits:
A. Par jugement du 27 septembre 2010, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._ pour abus de confiance, conduite sans assurance-responsabilité civile, violations de la LEtr, de la LSEE, de la LAVS, de la LAA et de l'ordonnance relative à une redevance pour l'utilisation des routes nationales à une peine privative de liberté de 18 mois ferme, à une peine pécuniaire de 30 jours-amende ferme, à 100 fr. le jour, et au paiement d'une amende de 500 fr., peines partiellement complémentaires à celles prononcées les 20 juin 2007, 28 janvier 2008 et 19 février 2009.
B. Par arrêt du 13 janvier 2012, la Cour d'appel pénal du Tribunal cantonal de Fribourg a rejeté le recours formé par X._.
Les faits pertinents constatés par cette autorité, qui fait sien l'état de fait retenu par l'autorité de première instance, sont en ce qui concerne l'infraction d'abus de confiance les suivants:
B.a X._ a décidé de construire, en qualité d'entrepreneur général, trois bâtiments avec trois appartements chacun sur le bien-fonds de A._ sis à Misery.
B.b X._ et A._ ont passé des contrats de vente et d'entreprise avec 16 acquéreurs entre le 3 février 2005 et le 6 avril 2006. A teneur desdits contrats, X._ s'obligeait, en tant qu'entrepreneur général, à payer tous les entrepreneurs et artisans pour les travaux et livraisons exécutés et compris dans le contrat d'entreprise et veillait à ce que des hypothèques légales inscrites au registre foncier soient immédiatement radiées. Par le contrat d'entreprise général faisant partie intégrante du contrat de vente et d'entreprise susmentionné, X._, au nom de sa raison individuelle intervenant comme entreprise générale, s'engageait, sans restriction, à n'utiliser le montant des versements du maître de l'ouvrage que pour le règlement des factures relatives à la construction faisant l'objet du contrat d'entreprise. En août 2006, après revente par l'un des acquéreurs, le nouveau propriétaire a également conclu un contrat d'entreprise avec X._, cette fois-ci au nom de B._ SA dont il était directeur avec signature individuelle. Les montants totaux que X._ devait percevoir des acquéreurs s'élevaient à 2'910'000 francs. X._ escomptait réaliser un bénéfice de 139'300 francs.
B.c Dans le cadre du chantier de Misery, X._ a utilisé le compte privé ouvert au nom de ses enfants, sur lequel il bénéficiait d'une procuration l'autorisant à disposer seul et de manière illimitée de tous les actifs. Le montant de 2'769'219 fr. 79 a été versé sur ce compte par les acquéreurs entre février 2005 et juillet 2006.
B.d Sur les montants reçus, 195'755 fr. 30 n'ont pas servi à acquitter des dépenses liées au chantier de Misery. En outre, 188'747 fr. 10 ont été utilisés afin de payer des frais de fonctionnement afférents à d'autres chantiers.
C. X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal, de même qu'à la réforme de cette décision en ce sens qu'un acquittement est prononcé "du chef de prévention d'abus de confiance (<ref-law>) [...]", qu'il est condamné à une peine privative de liberté de 6 mois avec sursis pendant 5 ans, peine partiellement complémentaire aux trois décisions susmentionnées, et qu'il supporte un quart des frais de procédure, le solde étant laissé à la charge de l'Etat. Subsidiairement, il sollicite le renvoi de la cause à l'autorité cantonale pour nouveau jugement.
Aucun échange d'écriture n'a été ordonné.

Considérant en droit:
1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion v. <ref-ruling> consid. 6.1 p. 379 s.) dans la constatation des faits. Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>; <ref-ruling> consid. 2.2 p. 69). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356).
Au vu de ce qui précède, il ne saurait être tenu compte des faits allégués par le recourant, sans démontrer d'arbitraire, qui s'écartent de ceux retenus par l'arrêt entrepris.
2. Le recourant conteste sa condamnation pour abus de confiance.
2.1 Commet un abus de confiance au sens de l'<ref-law> celui qui, sans droit, aura employé à son profit ou au profit d'un tiers, des valeurs patrimoniales qui lui avaient été confiées.
Sur le plan objectif, l'auteur doit avoir acquis la possibilité de disposer de valeurs patrimoniales qui appartiennent économiquement à autrui, mais, conformément à un accord (exprès ou tacite) ou à un autre rapport juridique, il ne peut en faire qu'un usage déterminé à savoir les conserver, les gérer ou les remettre (<ref-ruling> consid. 6.2 p. 27). Le comportement délictueux consiste à utiliser les valeurs patrimoniales contrairement aux instructions reçues, en s'écartant de la destination fixée (<ref-ruling> consid. 2.2.1 p. 259).
Du point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime (<ref-ruling> consid. 6.1.2 p. 27). L'élément subjectif de l'infraction n'est toutefois pas donné en cas de capacité de restituer (Ersatzbereitschaft), par quoi l'on désigne l'état de l'auteur qui peut justifier d'avoir, dès lors que la créance était exigible, eu à tout moment la volonté et la possibilité de présenter l'équivalent des montants employés (<ref-ruling> consid. 2a p. 34).
2.2 Le recourant conteste que les montants versés par les acquéreurs aient été des valeurs patrimoniales confiées au sens de l'<ref-law>.
2.2.1 L'autorité cantonale a retenu qu'au moment de la conclusion du contrat, il était clair pour toutes les parties à celui-ci que le recourant n'allait pas se charger seul de la réalisation des immeubles mais qu'il allait faire appel à divers sous-traitants. Par conséquent, afin de se prémunir contre le risque de devoir payer deux fois, afin d'éviter l'inscription d'hypothèques légales des artisans et entrepreneurs par ces derniers, des sommes déjà versées au recourant, les parties ont expressément prévu que ce dernier ne devait utiliser les sommes reçues que pour le règlement des factures relatives à la construction faisant l'objet du contrat. Ces clauses contractuelles représentent ainsi indéniablement des instructions données au recourant concernant l'utilisation des fonds remis. Des instructions plus précises, de même que la désignation d'un mandataire chargé de signer ou de contresigner les bons de paiement, n'étaient aucunement nécessaires. Ainsi, pour tous les travaux pour lesquels le recourant allait faire appel à des sous-traitants, l'argent versé ne lui était pas remis pour lui-même, en guise de paiement, mais devait servir à désintéresser les sous-traitants. Pour cette partie-là des travaux, l'argent était donc confié au recourant et celui-ci s'était engagé à en faire un emploi déterminé, dans l'intérêt des copropriétaires (arrêt entrepris, p. 13).
2.2.2 L'arrêt entrepris ne permet pas de déterminer si, au moment de chaque versement, les parties savaient déjà qui exécuterait les travaux justifiant ces paiements, à savoir le recourant ou des sous-traitants, respectivement si ces travaux avaient déjà été exécutés et dans ce cas par qui. Cet aspect n'est toutefois pas décisif. Il ressort en effet de l'accord entre les parties que les sommes versées devaient être affectées aux factures des sous-traitants dans la mesure où le travail n'était pas exécuté par le recourant. Le recourant ne pouvait par conséquent en disposer avant d'avoir décidé si les prestations seraient fournies par lui ou par un tiers. Une fois ce choix effectué, il devait n'affecter les montants destinés aux tiers qu'à ces derniers.
En l'occurrence, le gros ?uvre, le second ?uvre et les aménagements extérieurs ont été exécutés par l'entreprise du recourant. L'exécution du solde des travaux a été confiée à d'autres entreprises (arrêt entrepris, p. 7). Les travaux que l'entreprise du recourant devait exécuter ont été devisés à environ 1'775'000 francs. Le recourant a indiqué n'avoir pas dépassé le devis, sous réserve d'un montant de 15'000 fr. dû à des travaux de terrassement plus importants que prévu. Il a déclaré avoir prélevé ces montants au fur et à mesure. Le recourant a ainsi réalisé un chiffre d'affaires sur le chantier de 1'790'000 fr. (1'775'000 fr. et 15'000 fr.; jugement de première instance, p. 8). Il résulte de ce qui précède que l'ensemble des prestations fournies par le recourant ont été payées par le biais des montants versés par les acquéreurs sur le compte privé. Le solde des sommes créditées sur ce compte, dont à déduire le bénéfice escompté de 139'300 fr., soit 839'919 fr. 79 (2'769'219 fr. 79 - 1'790'000 fr. - 139'300 fr.) était par conséquent destiné à payer, "sans restriction" selon le contrat d'entreprise général, l'exécution des travaux que le recourant avait choisi de confier à des tiers. Le recourant agissait pour ce dernier montant comme un auxiliaire de paiement des acquéreurs afin de s'acquitter des travaux exécutés par des tiers sur le chantier, respectivement de conserver les sommes reçues jusqu'à leur utilisation dans ce but. A moins qu'il ne puisse les affecter à ces fins, il avait le devoir d'en conserver constamment la contre-valeur (<ref-ruling> consid. 6.2 p. 27 s.; arrêt 6B_312/2009 du 17 juillet 2009 consid. 2.2). Le montant de 839'919 fr. 79 constituait par conséquent une valeur patrimoniale confiée au sens de l'<ref-law>.
2.2.3 Le recourant estime que tous les fonds remis l'ont été à titre de paiement pour son travail. Ce faisant, il s'écarte des constatations de fait de l'arrêt entrepris sans en démontrer l'arbitraire. Son grief est irrecevable. Il estime ensuite qu'il pouvait disposer librement des fonds remis. Qu'il ait la capacité juridique de disposer seul des fonds crédités sur le compte privé, grâce à la procuration qui lui avait été accordée par ses enfants, n'implique toutefois pas qu'il n'était pas lié par les buts convenus avec les acquéreurs, buts qui avaient justifié ces versements. Le grief est vain à cet égard. Il est irrecevable pour le surplus, dans la mesure où le recourant en soutenant pouvoir disposer librement des sommes remises s'écarte des faits constatés par l'arrêt entrepris, sans en démontrer d'arbitraire. Le recourant tente de relativiser la portée de la clause lui imposant une affectation précise, arguant qu'"il s'agit clairement d'une condition générale intégrée au contrat qui ne fait que rappeler certains devoirs généraux et contractuels imposés à un entrepreneur" (recours, p. 10). Ce faisant, il ne met nullement en cause qu'il ne pouvait pas disposer des fonds remis comme il l'entendait. Le recourant invoque également que les montants étaient versés sur un compte privé et non sur un compte de construction, qu'aucun rapport de fiduciaire n'avait été convenu et que personne, notamment la banque, ne vérifiait les débits effectués. Est seul déterminant au sens de l'<ref-law> le fait que des sommes aient été confiées au recourant, à des fins déterminées. La nature du compte sur lequel ont été remises les sommes de même que l'absence de rapport fiduciaire sont en revanche sans pertinence ici. L'absence de contrôle par un tiers n'enlève en outre rien au devoir accepté contractuellement par le recourant de n'affecter les sommes remises qu'au paiement des factures liées au chantier. Le recourant ne saurait non plus être suivi lorsqu'il soutient que les montants remis l'auraient été en vertu du contrat de vente et que l'obligation de les verser aux sous-traitants relèverait d'un autre rapport juridique. Le contrat d'entreprise générale prévoit en effet expressément, d'une part, le versement de la somme due par l'acquéreur-maitre d'?uvre et, d'autre part, l'affectation de ce montant. La jurisprudence que cite le recourant à cet égard (<ref-ruling>; <ref-ruling>; <ref-ruling>) est ainsi sans portée.
Le recourant se réfère également à l'arrêt 6B_986/2010 rendu le 8 août 2011 par le Tribunal fédéral et invoque une violation de l'interdiction de l'arbitraire et du principe d'égalité de traitement. Cet arrêt traite uniquement de la question de savoir si les frais de procédure pouvaient être mis à la charge de deux intéressés, libérés par l'autorité cantonale de l'accusation d'abus de confiance. Il n'examine en revanche pas si cet acquittement était fondé. Au contraire, le Tribunal fédéral se borne à analyser si un comportement civilement répréhensible pouvait être reproché aux intéressés et conclut que l'arrêt cantonal doit être annulé faute de motivation suffisante à cet égard et la cause renvoyée pour que l'état de fait soit complété et qu'un nouveau jugement soit prononcé. Le recourant ne peut dès lors rien déduire en sa faveur de cet arrêt.
2.3 En utilisant les sommes confiées à des fins différentes que celles convenues, soit pour s'acquitter de dépenses non liées au chantier de Misery à hauteur de 195'755 fr. 30 et de frais de fonctionnement ayant trait à d'autres chantiers à hauteur de 188'747 fr. 10, le recourant réalise les conditions objectives de l'infraction d'abus de confiance. Le rôle joué selon le recourant par la banque auprès de laquelle était ouvert le compte privé est ici sans importance, dès lors qu'il n'y a de toute façon pas de compensation des fautes au pénal (<ref-ruling> consid. 2c/bb p. 24).
2.4 L'autorité précédente a retenu, suivant ainsi l'autorité de première instance, que le recourant avait agi avec conscience et volonté, à l'exception du bénéfice initialement escompté, estimé à 139'300 francs. Pour ce montant, il a été considéré que le recourant n'avait pu partir de l'idée que cette somme-là, versée dans son intérêt, pouvait être concernée par l'usage abusif qu'il faisait de l'argent des copropriétaires. Pour le reste, il a été constaté que le recourant avait accepté de s'enrichir au détriment de ses partenaires contractuels, dans la mesure où il était conscient de ne pas disposer d'une capacité financière telle qu'il lui était loisible à tout moment de représenter l'équivalent des sommes qu'il a affectées à ses propres fins (arrêt entrepris, p. 10 et jugement p. 62).
Sur la base de ces constatations, qui lient le Tribunal fédéral, le recourant a détourné intentionnellement et dans un dessein d'enrichissement illégitime le montant de 245'202 fr. 40 (195'755 fr. 30 + 188'747 fr. 10 - 139'300 francs). Les conditions subjectives de l'infraction d'abus de confiance sont ainsi réunies de sorte que la condamnation pour ce chef d'accusation, seul ici contesté, doit être confirmée.
3. Le recourant conteste la peine prononcée.
3.1 Il peut être ici renvoyé à la jurisprudence rappelant les principes régissant la fixation de la peine (<ref-ruling> consid. 2.1 et les références citées).
3.2 Dans la mesure où le recourant estime que la peine prononcée serait excessive car l'infraction d'abus de confiance ne serait pas réalisée, son moyen est irrecevable pour anticiper à tort l'admission du grief soulevé à cet égard.
3.3 Le recourant soutient que plusieurs éléments n'auraient pas été pris en compte, en violation de l'<ref-law>. Que E._ ait retiré sa plainte est sans pertinence ici. Il est erroné de soutenir que les acquéreurs n'auraient été lésés en aucune manière. Ils l'ont été du fait déjà des nombreuses hypothèques légales inscrites par les sous-traitants qui n'avaient pas été payés.
Le recourant invoque avoir pris des mesures pour assurer le bon fonctionnement de sa société également sur le plan administratif (recours, p. 26). Il ne précise pas lesquelles. Il ressort toutefois de l'arrêt entrepris qu'il pourrait s'agir de sa démission de son poste d'administrateur de C._ SA, pour n'en être plus que directeur avec signature individuelle (arrêt entrepris, p. 18 et 19). Un tel changement n'était pas propre à justifier une peine inférieure à celle prononcée.
3.4 Le recourant reproche à la cour cantonale de n'avoir pas tenu compte de son âge et de l'effet de la peine sur le futur de son entreprise.
L'âge et l'état de santé du délinquant font partie des éléments susceptibles de le rendre plus vulnérable face à la peine. Cette vulnérabilité ne doit toutefois être retenue comme circonstance atténuante que si elle rend la sanction considérablement plus dure que pour la moyenne des autres condamnés (arrêt 6B_533/2011 du 10 novembre 2011 consid. 7.1).
En l'occurrence, au moment du prononcé de l'arrêt entrepris, le recourant avait 58 ans. Il ne souffrait d'aucun problème de santé ni de maladie grave (arrêt entrepris, p. 21). Le recourant n'expose pas en quoi sa situation aurait pour conséquence une sensibilité accrue à la peine ou présenterait un caractère si exceptionnel qu'une réduction de la peine prononcée s'imposerait pour ce motif. S'agissant de "son" entreprise dont le sort serait mis en péril par l'exécution de la peine, le recourant ne fournit aucune précision, notamment sur l'identité de cette entreprise. Il ressort du registre du commerce que sa raison individuelle (jugement de première instance, p. 4) a été radiée le 14 novembre 2011 par suite de cessation d'activité. Quand aux sociétés anonymes initialement dirigées par lui, au jour du prononcé de l'arrêt cantonal trois avaient fait faillite. S'agissant de la quatrième, C._ SA, il n'en était plus administrateur mais uniquement directeur. Dans ces circonstances, on ne voit pas que sa situation professionnelle présente un caractère si exceptionnel qu'elle impose une réduction de peine.
3.5 En définitive, le recourant ne cite aucun élément important, propre à modifier la peine, qui aurait été omis ou pris en considération à tort. Pour le surplus, l'autorité cantonale n'a certes pas fixé la peine litigieuse conformément à la jurisprudence développée en matière de concours rétrospectif partiel (cf. arrêt 6B_685/2010 du 4 avril 2011 consid. 4.1). Cela dit, cette sanction, au vu des nombreuses infractions à prendre en compte, de la peine maximale prévue, des multiples antécédents du recourant, de l'importance des montants détournés, de l'absence de reconnaissance de responsabilité du recourant, n'apparaît pas contraire à l'<ref-law>. Le grief formé à cet égard doit donc être rejeté.
4. Le recourant critique le refus d'assortir sa peine du sursis.
4.1 Les infractions commises par le recourant l'ont été tant avant qu'après le 1er janvier 2007, date à laquelle sont entrées en vigueur de nouvelles dispositions de la partie générale. Se pose donc la question du droit applicable. Contrairement à l'art. 41 ch. 1 al. 1 aCP en vigueur jusqu'au 31 décembre 2006, le nouveau droit permet l'octroi du sursis malgré une condamnation préalable à une peine privative de liberté de six mois durant les cinq ans qui précèdent l'infraction (<ref-law>). Il est ainsi plus favorable en l'espèce et dès lors seul applicable à titre de lex mitior (<ref-law>).
4.2 Aux termes de l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits (al. 1). En cas de condamnation dans les cinq ans qui précèdent l'infraction à une peine privative de liberté ferme ou avec sursis de six mois au moins, le sursis n'est possible qu'en présence de circonstances particulièrement favorables (al. 2).
Dans ce dernier cas, la présomption d'un pronostic favorable, respectivement du défaut d'un pronostic défavorable, ne s'applique plus, la condamnation antérieure constituant un indice faisant craindre que l'auteur puisse commettre d'autres infractions. L'octroi du sursis n'entre donc en considération que si, malgré l'infraction commise, on peut raisonnablement supposer, à l'issue de l'appréciation de l'ensemble des facteurs déterminants, que le condamné s'amendera. Le juge doit examiner si la crainte de récidive fondée sur l'infraction commise peut être compensée par les circonstances particulièrement favorables, soit des circonstances qui empêchent que l'infraction antérieure ne détériore le pronostic. Tel sera notamment le cas si l'infraction à juger n'a aucun rapport avec l'infraction antérieure ou que les conditions de vie du condamné se sont modifiées de manière particulièrement positive (<ref-ruling> consid. 4.2.3 p. 7). Le fait que l'auteur ait omis de réparer le dommage comme on pouvait raisonnablement l'attendre de lui (<ref-law>) est également un indice à prendre en compte dans l'établissement du pronostic (<ref-ruling> consid. 4.2.4 p. 7). Le juge dispose d'un large pouvoir d'appréciation dans l'émission du pronostic visé par l'<ref-law> (<ref-ruling>40 consid. 4.2 p. 143). Lorsque l'hypothèse visée par l'<ref-law> est réalisée, un sursis partiel au sens de l'<ref-law> est exclu (arrêt 6B_492/2008 du 19 mai 2009 consid. 3.1.3 non publié in <ref-ruling>).
4.3 Le recourant ne conteste pas qu'il a été condamné à une peine de six mois d'emprisonnement le 20 juillet 2000 de sorte qu'il ne pouvait se voir accorder le sursis qu'en présence de circonstances particulièrement favorables au sens de l'<ref-law>.
Le recourant a été condamné à sept reprises dont plusieurs fois pour des infractions contre le patrimoine. Trois peines fermes ne l'ont pas dissuadé. Au contraire, après le prononcé le 26 février 2007 d'une peine privative de liberté de 14 mois dont 6 ferme pour gestion déloyale notamment, le recourant a continué à prélever sur le compte privé des montants à des fins contraires à celles pour lesquelles ces sommes lui avaient été confiées. Ces circonstances sont clairement défavorables.
L'âge du recourant de même que le risque qu'il ne puisse plus continuer à "s'occuper de sa société", quelle que soit l'activité qu'il a en tête, ne constituent pas des circonstances particulièrement favorables au sens de l'<ref-law>. Le recourant invoque s'être amendé. La cour cantonale a retenu qu'il n'avait pas admis avoir commis des abus de confiance au détriment de ses cocontractants, se présentant au contraire comme une victime. Dès lors, même s'il a effectué un paiement de 40'000 fr. quelques jours avant l'ouverture de son procès, l'amendement dont il se prévaut ne saurait suffire à réaliser les conditions posées par l'<ref-law>. Comme le relève l'autorité cantonale, les mesures prises par le recourant pour que de son point de vue son entreprise soit exploitée conformément à la loi - selon l'arrêt entrepris nomination d'un administrateur tout en restant directeur avec signature individuelle de C._ SA - ne suppriment pas tout risque de dérapage. Elles ne suffisent pas à réaliser les exigences élevées posées par l'<ref-law>. Le recourant invoque le courrier de D._ Sàrl. Cette société y mentionne n'avoir rencontré aucun problème avec le recourant concernant des périodes pendant lesquelles il a justement commis les infractions litigieuses ou pour lesquelles il a d'ores et déjà été condamné. Une telle attestation ne suffit dès lors pas non plus. En conséquence et même en tenant compte de l'ensemble des éléments invoqués par le recourant, c'est sans violer l'<ref-law> que l'autorité cantonale a constaté l'absence de circonstances particulièrement favorables permettant seules d'accorder le sursis.
5. Le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant supporte les frais de la cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg.
Lausanne, le 5 avril 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod