Faits :
A.
Par ordonnance du 10 décembre 2018, le Ministère public de la République et canton de Genève a refusé d'entrer en matière sur la plainte formée par la Fondation A._ notamment contre X._.
Par arrêt du 23 janvier 2019, la Chambre pénale de recours de la Cour de justice genevoise a partiellement admis le recours formé par X._ contre la décision précitée et renvoyé la cause au ministère public pour qu'il statue sur l'indemnisation demandée. Elle a, par ailleurs, mis un tiers des frais de la procédure de recours à la charge de X._, laissé le solde à la charge de l'Etat, alloué au prénommé, à la charge de l'Etat, une indemnité de 601 fr. pour l'instance de recours et dit que le montant des frais à la charge de X._ était compensé à due concurrence avec le montant de l'indemnité allouée.
Le 29 avril 2019, le Ministère public genevois a rendu une " ordonnance complémentaire sur indemnisation " par laquelle il a alloué à X._ une indemnité de 3011 fr. 30 pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure.
B.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance du 29 avril 2019 et contre l'arrêt du 23 janvier 2019. Il conclut à l'annulation partielle de l'arrêt du 23 janvier 2019 en tant qu'il met un tiers des frais de la procédure de recours à sa charge et ne lui alloue qu'une indemnité de 601 fr. et à sa réforme en ce sens que les frais de la procédure de recours ayant mené à la décision du 23 janvier 2019 sont laissés à la charge de l'Etat et qu'une indemnité de défense de 901 fr. lui est allouée.
Invités à déposer des observations sur le recours, la cour cantonale y a renoncé cependant que le ministère public a conclu à son rejet. Ces écritures ont été communiquées à X._ par envoi du 15 août 2019.

Considérant en droit :
1.
1.1. Les recours au Tribunal fédéral sont recevables contre les décisions finales (<ref-law>), les décisions partielles au sens de l'<ref-law> et les décisions préjudicielles ou incidentes aux conditions prévues par les art. 92 et 93 LTF.
La décision par laquelle l'autorité cantonale renvoie la cause au juge de première instance pour instruction et nouvelle décision au fond est une décision incidente qui ne porte ni sur la compétence, ni sur une demande de récusation (cf. art. 92 et 93 al. 1 LTF). Lorsque l'autorité de recours statue simultanément sur les frais et dépens de la procédure suivie devant elle, ce prononcé accessoire est également une décision incidente, alors même qu'il porte sur des prétentions qui ne seront plus en cause par la suite (cf. <ref-ruling> consid. 1.2 p. 331; arrêt 6B_161/2019 du 6 mars 2019 consid. 1.3). Le prononcé accessoire sur les frais et dépens contenu dans une décision incidente n'est pas de nature à causer un préjudice irréparable au sens de l'<ref-law>. La partie qui s'estime lésée par la répartition des frais et dépens conserve la possibilité de contester ce point à l'appui du recours contre la décision finale, conformément à l'<ref-law> ou, si celle-ci n'est pas remise en cause sur le fond, dès le moment où elle a été rendue (<ref-ruling> consid. 1.3 p. 419; <ref-ruling> consid. 1.1 p. 366; <ref-ruling> consid. 1.2.2 p. 333 s; arrêt 6B_161/2019 précité consid. 1.3). Dans ce dernier cas, la date de notification de la nouvelle décision rendue par l'instance inférieure est déterminante pour la computation du délai de recours selon l'<ref-law> (consid. <ref-ruling> consid. 1.3 p. 366 ss).
1.2. En l'espèce, l'arrêt du 23 janvier 2019 annule partiellement une ordonnance de non-entrée en matière et renvoie la cause au ministère public pour qu'il statue sur l'indemnité requise pour les dépenses occasionnées par l'exercice raisonnable des droits de procédure. Il ne met pas fin à la procédure pénale et revêt un caractère incident. La décision de mettre une partie des frais à la charge du recourant et de ne lui accorder qu'une indemnité partielle, contenue dans l'arrêt attaqué, constitue également une décision incidente. L'ordonnance du ministère public du 29 avril 2019 a statué, sur renvoi, sur la question de l'indemnité fondée sur l'<ref-law> pour la procédure de première instance. Dès lors, le recours formé par le recourant contre l'arrêt du 23 janvier 2019, dans le délai de 30 jours de l'<ref-law>, calculé depuis la notification de la décision du 29 avril 2019, est par conséquent recevable. Pour le surplus, dans la mesure où le recourant dirige son recours également contre l'ordonnance du 29 avril 2019 - tout en indiquant qu'il n'a aucun grief à formuler contre celle-ci - celui-ci est irrecevable, cette décision n'étant pas une décision de dernière instance cantonale (cf. <ref-law>). Les autres conditions de recevabilité étant réunies s'agissant du recours contre l'arrêt du 23 janvier 2019, il y a lieu d'entrer en matière sur le fond.
2.
Le recourant conteste la mise à sa charge d'une partie des frais et la réduction de son indemnité fondée sur l'<ref-law> pour la procédure de recours. Il soutient avoir obtenu entièrement gain de cause si bien qu'il ne se justifierait pas qu'il supporte une part des frais et qu'il n'obtienne qu'une indemnité réduite.
2.1. Les frais survenus en deuxième instance sont répartis conformément à l'<ref-law>. Les frais de la procédure de recours sont mis à la charge des parties dans la mesure où elles ont obtenu gain de cause ou succombé (art. 428 al. 1, 1 ère phrase CPP). Pour déterminer si une partie succombe ou obtient gain de cause, il faut examiner dans quelle mesure ses conclusions sont admises en deuxième instance (arrêts 6B_1011/2018 du 11 décembre 2018 consid. 2.1; 6B_136/2016 du 23 janvier 2017 consid. 4.1.2; 6B_1025/2014 du 9 février 2015 consid. 2.4.1 et les arrêts cités). Aux termes de l'<ref-law>, s'ils annulent une décision et renvoient la cause pour une nouvelle décision à l'autorité inférieure, la Confédération ou le canton supportent les frais de la procédure de recours et, selon l'appréciation de l'autorité de recours, les frais de la procédure devant l'autorité inférieure. Lorsqu'une décision de première instance est annulée, c'est, généralement que des erreurs ont été commises par l'autorité qui a rendu la décision (cf. Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1312). Dans ce cas, il se justifie que les frais soient supportés par l'Etat (cf. <ref-law>).
2.2. Aux termes de l'<ref-law>, les prétentions en indemnités et en réparation du tort moral dans la procédure de recours sont régies par les art. 429 à 434 CPP. Si l'autorité de recours annule une décision conformément à l'<ref-law>, les parties ont droit à une juste indemnité pour les dépenses occasionnées par la procédure de recours et par la partie annulée de la procédure de première instance (<ref-law>). L'<ref-law> règle les prétentions en indemnités et en réparation du tort moral pour la procédure de recours. Elle vise la procédure de recours en général, à savoir les procédures d'appel et de recours (au sens des <ref-law>). Le renvoi de l'<ref-law> aux art. 429 à 434 CPP ne signifie pas que les indemnités doivent se déterminer par rapport à l'issue de la procédure de première instance. Au contraire, elles doivent être fixées séparément pour chaque phase de la procédure, indépendamment de la procédure de première instance. Le résultat de la procédure de recours est déterminant (<ref-ruling> consid. 3.2.2 p. 169 s.).
2.3. Il ressort de l'arrêt attaqué que le ministère public a, dans son ordonnance de non-entrée en matière du 10 décembre 2018, envisagé les faits reprochés au recourant sous l'angle de trois infractions, soit l'escroquerie, le faux dans les titres et l'abus de confiance. En substance, la cour cantonale a retenu qu'il ressortait de cette décision que les frais avaient été laissés à la charge de l'Etat mais que le ministère public ne s'était pas prononcé sur le droit à l'indemnisation pour les dépenses occasionnées par l'exercice raisonnable des droits de procédure du prévenu. Après avoir rappelé les règles selon lesquelles la question de l'indemnisation du prévenu devait être traitée en relation avec celle des frais et qu'en principe la décision sur les frais préjugeait de la question du droit à l'indemnité, la cour cantonale a estimé que " dès lors que les frais ont été, en l'occurrence, laissés à la charge de l'Etat, le Ministère public aurait dû se conformer à l'<ref-law> ". La cour cantonale a, ensuite, indiqué que seule une ordonnance de non-entrée en matière rendue en vertu de l'<ref-law> - qui repose sur la prémisse selon laquelle l'auteur a commis un acte illicite, pour lequel il porte une part de culpabilité - permettait de conclure que les conditions posées aux art. 426 al. 2 et 430 al. 1 let. a CPP étaient réalisées sans qu'il ne soit nécessaire de fonder la violation d'une norme générale de comportement sur une norme autre que celle pour laquelle la condamnation pénale avait été exclue en raison du peu de gravité de la faute. Si le refus d'entrer en matière sur l'infraction d'abus de confiance à l'encontre du recourant était fondé sur l'<ref-law>, tel n'était pas le cas des autres infractions reprochées, le ministère public ayant considéré pour celles-ci que les éléments constitutifs faisaient défaut. Partant, le recourant était fondé à se prévaloir d'un droit à une indemnité résultant de la non-entrée en matière sur ces deux infractions et le ministère public aurait dû l'interpeller sur cette question. Le recours devait ainsi être partiellement admis et la cause renvoyée au ministère public pour qu'il se prononce sur l'indemnité réclamée au sens de l'<ref-law>. La cour cantonale a encore relevé que, vu la nature procédurale du vice constaté, il n'était pas nécessaire d'inviter préalablement le ministère public à se prononcer, dès lors qu'elle ne traitait pas la cause sur le fond et ne préjugeait ainsi pas de l'issue de celle-ci. Enfin, elle a estimé que le recourant succombait partiellement. Il devait donc supporter un tiers des frais. Il avait droit à des dépens dans la mesure où il obtenait partiellement gain de cause, réduits d'un tiers. Le recourant demandait l'allocation d'une indemnité de 902 fr. qui paraissait raisonnable au vu du travail fourni par son avocat. L'indemnité devait être fixée à 601 fr., au vu de la réduction d'un tiers. Le montant dû par le recourant à titre de frais envers l'Etat devait être compensé à due concurrence avec le montant de l'indemnité qui lui était due.
2.4. En substance, le recourant soutient avoir obtenu entièrement gain de cause devant la cour cantonale, dès lors qu'elle aurait admis le recours pour violation du droit d'être entendu, le ministère public ayant totalement omis de statuer sur l'indemnité requise. De plus, la cour cantonale aurait elle-même indiqué qu'elle ne préjugeait pas de la cause, s'abstenant ainsi de procéder à un échange d'écritures. Cette manière de procéder serait contradictoire avec le fait de considérer qu'il n'avait droit qu'à une indemnité partielle pour la procédure devant le ministère public en raison du fait que la poursuite d'une infraction (l'abus de confiance) aurait été abandonnée en application de l'<ref-law>. Qui plus est, aucun frais n'aurait été mis à sa charge par le ministère public dans sa décision de non-entrée en matière. En application de la règle voulant que la décision sur les frais préjugeait de celle sur l'indemnité fondée sur l'<ref-law>, il aurait droit à une pleine indemnité, ce que lui avait d'ailleurs accordé le ministère public dans son ordonnance complémentaire sur indemnisation.
Avec le recourant, il convient d'admettre qu'il a obtenu entièrement gain de cause dans la procédure devant la cour cantonale. Il ressort de l'arrêt attaqué que le recourant avait conclut à l'annulation de l'ordonnance de non-entrée en matière en tant qu'elle ne lui allouait aucune indemnité et subsidiairement au renvoi de la cause au ministère public pour nouvelle décision, avec suite de frais et dépens chiffrés. La cour cantonale a constaté que le ministère public n'avait pas statué sur l'indemnité requise par le recourant alors qu'il lui incombait de la faire. Elle a ainsi renvoyé la cause à cette autorité pour qu'elle statue sur ce point. Conformément à l'<ref-law>, les frais relatifs à la procédure de recours devaient être laissés à la charge de l'Etat. Quant à l'indemnité pour les dépenses occasionnées par l'exercice raisonnable des droits de procédure, elle ne devait pas être réduite mais devait couvrir l'entier des dépenses occasionnées par la procédure de recours, en application de l'<ref-law>. Le fait que la cour cantonale indique qu'elle ne préjugeait pas de la cause au fond, pour justifier l'absence d'échange d'écritures, puis qu'elle indique que le recourant n'avait pas droit à une pleine indemnité dès lors qu'il avait bénéficié d'une non-entrée en matière sur l'une des infractions en application de l'<ref-law>, est problématique et apparaît contradictoire. La motivation de la cour cantonale à cet égard ne devait être interprétée que comme une indication, en application du principe de l'économie de procédure, à l'attention du ministère public. Celui-ci s'est par ailleurs senti libre de s'en écarter en accordant une pleine indemnité au recourant pour la procédure devant lui.
La cour cantonale a ainsi violé les art. 428 al. 4 et 436 al. 3 CPP en mettant un tiers des frais de la procédure de recours à la charge du recourant et en réduisant son indemnité d'un tiers. Pour le surplus, le recourant ne conteste pas le montant total de l'indemnité fixée par la cour cantonale qui correspond, par ailleurs, au montant qu'il avait requis.
3.
Au vu de ce qui précède, le recours doit être admis et l'arrêt attaqué du 23 janvier 2019 réformé en ce sens que les frais de la procédure de recours cantonale sont laissés à la charge de l'Etat de Genève et que l'indemnité allouée au recourant pour la procédure de recours cantonale est fixée à 902 francs. La compensation prononcée est annulée. Le recours en tant qu'il est dirigé contre l'ordonnance du 29 avril 2019 est irrecevable.
Le recourant obtient gain de cause. Il ne supporte pas de frais (<ref-law>). Il peut prétendre à de pleins dépens pour la procédure fédérale qui seront mis à la charge de la République et canton de Genève (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours, en tant qu'il est dirigé contre l'ordonnance du 29 avril 2019, est irrecevable.
2.
Le recours, en tant qu'il est dirigé contre l'arrêt du 23 janvier 2019, est admis et l'arrêt précité réformé en ce sens que les frais de la procédure de recours cantonale sont laissés à la charge de l'Etat de Genève, que l'indemnité allouée au recourant pour la procédure de recours cantonale est fixée à 902 fr. et que la compensation prononcée est annulée.
3.
Il n'est pas perçu de frais judiciaires.
4.
La République et canton de Genève versera au recourant une indemnité de 3000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 27 septembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Livet