Faits :
A.
Par jugement du 24 avril 2018, le Juge de police de l'arrondissement de la Veveyse a reconnu A._ coupable d'abus de confiance et l'a condamné à une peine pécuniaire de 70 jours-amende à 30 fr. l'unité, avec sursis pendant 2 ans, ainsi qu'au paiement d'une amende de 500 francs.
B.
Statuant sur appel de A._, la Cour d'appel pénal du Tribunal cantonal fribourgeois l'a rejeté par arrêt du 1er juillet 2019 et a confirmé la décision de première instance.
En substance, la cour cantonale s'est fondée sur l'état de fait suivant.
Après avoir été placé par un office régional de placement auprès de la société B._ Sàrl durant la période comprise entre le 6 février et le 31 mars 2017, A._ a continué à travailler pour cette société dans l'attente de la signature d'un contrat de travail jusqu'au 22 mai 2017, date à laquelle il a indiqué cesser immédiatement son activité dès lors que les conditions ne lui convenaient pas. Entre le 15 et le 19 mai 2017, il a encaissé en espèce, auprès de six clients de la société, un montant d'environ 12'185 fr. 35, au titre de créances résultant de factures ouvertes et n'a jamais remis cette somme à B._ Sàrl, la conservant indûment.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est libéré de la prévention d'abus de confiance. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision.

Considérant en droit :
1.
Le recourant s'en prend à l'établissement des faits et à l'appréciation des preuves. Il invoque une violation du principe in dubio pro reo.
1.1.
1.1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire. La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
1.1.2. A teneur de l'art. 138 ch. 1 al. 2 CP, celui qui, sans droit, aura employé à son profit ou au profit d'un tiers des valeurs patrimoniales qui lui avaient été confiées, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
D'un point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime, lequel peut être réalisé par dol éventuel (<ref-ruling> consid. 2a p. 34). Celui qui dispose à son profit ou au profit d'un tiers d'un bien qui lui a été confié et qu'il s'est engagé à tenir en tout temps à disposition de l'ayant droit s'enrichit illégitimement s'il n'a pas la volonté et la capacité de le restituer immédiatement en tout temps. Celui qui ne s'est engagé à tenir le bien confié à disposition de l'ayant droit qu'à un moment déterminé ou à l'échéance d'un délai déterminé ne s'enrichit illégitimement que s'il n'a pas la volonté et la capacité de le restituer à ce moment précis (<ref-ruling> consid. 3a p. 29 s.). Le dessein d'enrichissement illégitime fait en revanche défaut si, au moment de l'emploi illicite de la valeur patrimoniale, l'auteur en paie la contre-valeur, s'il avait à tout moment ou, le cas échéant, à la date convenue à cet effet, la volonté et la possibilité de le faire ( "Ersatzbereitschaft "; <ref-ruling> consid. 2a p. 34) ou encore s'il était en droit de compenser (<ref-ruling> consid. 3a p. 34 s.). Cette dernière hypothèse implique que l'auteur ait une créance d'un montant au moins égal à la valeur qu'il s'est appropriée ou à la valeur patrimoniale qu'il a utilisée et qu'il ait vraiment agi en vue de se payer. L'absence ou le retard d'une déclaration de compensation constitue un indice important de l'absence d'une véritable volonté de compenser et, partant, de l'existence d'un dessein d'enrichissement illégitime, ils ne sont néanmoins pas déterminants dans tous les cas (<ref-ruling> consid. 3a p. 35).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de faits " internes ", qui, en tant que tels, lient le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'ils n'aient été retenus de manière arbitraire (<ref-ruling> consid. 6.3 p. 375).
1.2. La cour cantonale a considéré que l'infraction d'abus de confiance était réalisée.
Faisant sienne l'appréciation du tribunal de première instance, elle a écarté la version des faits avancée par le recourant, selon laquelle il aurait restitué la somme qu'il avait encaissée à son ex-employeur, le 31 mai sur un parking à C._. Sa version était matériellement invraisemblable et ne se recoupait que partiellement avec celle de D._, dont les déclarations méritaient d'être examinées avec circonspection en raison de leur lien l'amitié et du fait qu'ils avaient eu un contact téléphonique la veille de l'audience. Le témoin n'avait pas reconnu les prétendus lieux de rendez-vous avec l'employeur, il avait indiqué que la voiture de ce dernier était noire alors qu'elle était grise et avait affirmé que l'employeur avait stationné son véhicule de l'autre côté de la route alors que le recourant avait indiqué que les véhicules étaient stationnés côte à côte. Outre le fait que le discours du recourant contenait des contradictions (l'heure du rendez-vous incompatible avec celle à laquelle il devait se rendre à l'aéroport de Genève), les circonstances de la prétendue restitution du montant litigieux échappaient à toute logique et apparaissaient invraisemblables. Sous la menace d'une plainte pénale formulée par son employeur, le recourant aurait prétendument restitué à ce dernier une importante somme d'argent en espèces dans une simple enveloppe, sur un parking sans caméra, sans témoin direct des faits et sans exiger la moindre quittance.
S'agissant du dessein d'enrichissement illégitime, la cour cantonale a retenu que le recourant n'était pas crédible lorsqu'il affirmait qu'il était convaincu d'être au bénéfice d'un contrat de travail conclu oralement, lequel prévoyait le versement de commissions qui ne lui auraient pas été payées. Le recourant n'avait jamais accepté les conditions salariales proposées par son employeur. Il ne pouvait pas invoquer une compensation résultant de commissions qui auraient, selon lui, dû lui être versées. Il ressortait des auditions d'employés de la caisse de chômage que le recourant avait perçu environ 1'200 fr. pour le mois d'avril ainsi que pour le mois de mai, ces montants correspondant à la commission réalisée sur la période en question. Enfin, l'invocation de l'exception de compensation était intervenue lorsque son ex-employeur s'était aperçu de l'encaissement et de la conservation des montants par le recourant, ce dernier ayant précisé en audience d'appel que son but était de faire pression sur son employeur pour établir un décompte, non pas de compenser une quelconque créance.
1.3. Le recourant reconnaît avoir encaissé un montant de 12'185 fr. 35 auprès de clients de son employeur et ne pas l'avoir remis à ce dernier immédiatement. Il ne conteste pas que ce montant lui a été confié.
Pour le reste, le recourant se contente en substance d'opposer sa propre version des faits à celle de la cour cantonale en prétendant que ceux-ci auraient été constatés de manière erronée ou incomplète. Ce procédé, consistant en une libre rediscussion des faits établis et de l'appréciation des preuves, sans que l'arbitraire ne soit invoqué ni motivé est largement appellatoire, partant irrecevable (cf. art. 97 al. 1 et 106 al. 2 LTF). Il en va ainsi notamment des explications concernant les incohérences du témoignage de D._ (nuances de couleurs de la voiture de l'employeur et incertitudes concernant le lieu du rendez-vous) et de celles concernant les contradictions de son propre discours (marge de manoeuvre quant aux horaires d'atterrissage à l'aéroport, demande de quittance inhabituelle). En outre, l'argumentation du recourant se fonde sur des pièces qui ne ressortent pas de la décision cantonale et dont l'arbitraire de l'omission n'est pas soulevé, de sorte qu'il n'y a pas lieu d'entrer en matière sur ce point.
Contrairement à ce que prétend le recourant, la cour cantonale s'est prononcée sur la rémunération convenue et celle à laquelle le recourant se croyait légitimé. Il n'y a ainsi pas lieu d'entrer en matière sur les explications qu'il livre quant aux indemnités auxquelles il aurait eu droit ou aurait cru être légitimement en droit de percevoir. En substance, le recourant s'écarte de manière inadmissible des faits arrêtés et oppose sa propre appréciation de son véritable dessein à celle de la cour cantonale. Un tel procédé est irrecevable.
Le recourant se prévaut d'une erreur sur les faits en référence à l'arrêt publié aux <ref-ruling>. Or, en l'espèce, la cour cantonale a exclu la version du recourant selon laquelle il était convaincu que des commissions auraient dû lui être payées. Dans la mesure où le recourant échoue à démontrer que la cour cantonale aurait versé dans l'arbitraire en excluant qu'il avait une appréciation erronée de la situation, le recourant ne saurait se prévaloir d'une erreur sur les faits au sens de l'art. 13 CP.
1.4. Il s'ensuit que le recours doit être rejeté dans la faible mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 4 décembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke