Faits :
A.
A.a. A._ a présenté le 2 octobre 2016 une demande d'indemnité en cas d'insolvabilité auprès de la caisse de chômage du canton de Vaud (ci-après: caisse de chômage). Il prétendait avoir travaillé en qualité d'aide-recycleur du 1 er avril au 20 août 2016 pour le compte de B._, dont la faillite avait été prononcée le 6 septembre 2016.
Après avoir reçu des informations complémentaires du mandataire de l'assuré, la caisse de chômage a indemnisé ce dernier pour la période du 21 avril au 20 août 2016 pour un montant total brut de 21'290 fr. 80 (décomptes des 18 novembre 2016 et 31 mars 2017).
A.b. A la suite d'une révision du Secrétariat d'Etat à l'économie (SECO), la caisse de chômage a, par décision du 10 novembre 2017, procédé à la reconsidération de ses décomptes et exigé la restitution d'un montant de 9235 fr. 30. L'assuré s'est opposé à cette décision. Par décision sur opposition du 5 juillet 2018, la caisse de chômage a confirmé sa décision du 10 novembre 2017 dans son principe et l'a réformée en ce sens que le montant de la restitution était augmenté à 11'156 fr. 80.
B.
Par arrêt du 24 mai 2019, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a partiellement admis le recours de l'assuré contre la décision sur opposition du 5 juillet 2018, qu'il a réformée en ce sens que le montant brut de l'indemnité en cas d'insolvabilité soumis à restitution s'élevait à 5690 fr. 15.
C.
A._ forme un recours en matière de droit public contre cet arrêt dont il demande la réforme en ce sens que le montant brut de l'indemnité en cas d'insolvabilité soumis à restitution s'élève à 4158 fr. 95, sous déduction des cotisations sociales légales.
La caisse de chômage s'en remet à justice, tandis que la cour cantonale ne s'est pas déterminée.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140).
Par ailleurs, le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées; à défaut, un état de fait divergent ne peut pas être pris en considération (cf. art. 97 al. 2 LTF; <ref-ruling> consid. 5.1 p. 356).
3.
Le litige porte sur le droit de l'intimée de demander au recourant la restitution d'un montant de 5690 fr. 15, à titre d'indemnité en cas d'insolvabilité versée en trop du 21 avril au 20 août 2016, singulièrement sur la question de savoir si les conditions d'une reconsidération des décomptes initiaux de prestations des 18 novembre 2016 et 31 mars 2017 étaient réunies.
4.
4.1.
4.1.1. Dans sa décision sur opposition du 5 juillet 2018, la caisse de chômage a retenu que l'assuré pouvait prétendre à l'indemnité pour insolvabilité pour la période du 21 avril au 20 août 2016, que le taux de travail retenu était de 40 % du 21 avril au 30 juin 2016, avec un salaire net de 1600 fr. (1706 fr. bruts), sans 13 e salaire, que le taux de travail était de 100 % du 1 er juillet au 20 août 2016 avec un salaire brut de 5500 fr., sans 13 e salaire et que la part vacances était due pour toute la période sur la base d'un droit à 20 jours par année. Le montant total brut dû à titre d'indemnité pour insolvabilité se montait à 10'134 fr. Dans la mesure où l'assuré avait perçu un montant brut de 21'290 fr. 80 selon les décomptes des 18 novembre 2016 et 31 mars 2017, ceux-ci étaient manifestement inexacts, de sorte que la différence entre la somme versée et le montant effectivement dû, à savoir 11'156 fr. 80 (21'390 fr. 80 - 10'134 fr.) était soumise à restitution.
4.1.2. La juridiction cantonale a considéré pour sa part que pour la période du 1 er avril au 30 juin 2016, le recourant avait rendu vraisemblable une activité à plein temps avec une rémunération mensuelle de 4000 fr. bruts, que la rémunération des vacances non prises était prévue ex lege et devait donc être comprise dans la créance du recourant et que le droit au 13 e salaire n'avait pas été rendu suffisamment plausible au sens de l'art. 74 OACI. Elle a également retenu que les décomptes des 18 novembre 2016 et 31 mars 2017 ne prenaient pas en considération les montants effectivement perçus par le recourant entre le 1 er avril et le 30 juin 2016, soit trois fois 1600 fr. nets, étant relevé que l'assuré avait confirmé lors de l'audience d'instruction avoir reçu en main propre une partie de sa rémunération. La juge de première instance a à nouveau calculé le montant dû à titre d'indemnité en cas d'insolvabilité de la manière suivante: 1333 fr. 30 (4000 fr. / 30 x 10) pour le mois d'avril, 2 x 4000 fr. pour les mois de mai et juin, 5500 fr. pour le mois de juillet et 3548 fr. 40 (5500 fr. / 31 x 20) pour le mois d'août, soit une somme totale de 18'381 fr. 70. Il convenait d'ajouter à ce montant l'indemnité de vacances dues, à savoir 1531 fr. 20 (18'381 fr. 70 x 8,33 %), puis de soustraire la somme des salaires effectivement perçus, soit 1600 fr. nets pour chacun des mois d'avril à juin 2016, au pro rata du nombre de jours déterminants. Convertis en un montant brut (1706 fr.), indemnités de vacances comprises (1706 fr. x 8,33 %), le total des salaires à soustraire s'élevait à 4312 fr. 25 (1848 fr. 10 / 30 x 10 pour le mois d'avril, plus 2 x 1848 fr. 10 pour les mois de mai et juin). Au total, l'indemnité due pour la période du 21 avril au 20 août 2016 s'élevait à 15'600 fr. 65 bruts, de sorte que le montant soumis à restitution était de 5690 fr. 15 (21'290 fr. 80 - 15'600 fr. 65).
4.2. Le recourant reproche à la juridiction cantonale de ne pas avoir examiné le cas sous l'angle de la reconsidération, en particulier de l'erreur manifeste, mais d'avoir simplement procédé à une nouvelle appréciation du cas d'espèce. Il fait valoir qu'il n'était dès lors pas admissible de reconsidérer les décomptes de prestations en tant qu'ils tenaient compte d'un 13e salaire. La cour cantonale ayant retenu que sa créance de salaire brut à l'encontre de son ancien employeur s'élevait à 18'381 fr. 70 pour la période du 21 avril au 20 août 2018, la part du 13e salaire correspondrait, selon le recourant, à 1531 fr. 20 (8,33 % x 18'381 fr. 70) et le montant soumis à restitution ne s'élèverait par conséquent pas à 5690 fr. 15 mais à 4158 fr. 95 (5690 fr. 15 - 1531 fr. 20).
5.
5.1. Selon l'art. 53 al. 2 LPGA, l'assureur peut revenir sur les décisions ou les décisions sur opposition formellement passées en force lorsqu'elles sont manifestement erronées et que leur rectification revêt une importance notable. Pour juger s'il est admissible de reconsidérer une décision pour le motif qu'elle est sans nul doute erronée, il faut se fonder sur les faits et la situation juridique existant au moment où cette décision a été rendue, compte tenu de la pratique en vigueur à l'époque (<ref-ruling> consid. 3 p. 389 et les références). Par le biais de la reconsidération, on corrigera une application initiale erronée du droit, de même qu'une constatation erronée résultant de l'appréciation des faits. Un changement de pratique ou de jurisprudence ne saurait en principe justifier une reconsidération (<ref-ruling> consid. 2c p. 17; <ref-ruling> consid. 4a/cc p. 314). Pour des motifs de sécurité juridique, l'irrégularité doit être manifeste, de manière à éviter que la reconsidération devienne un instrument autorisant sans autre limitation un nouvel examen des conditions à la base des prestations de longue durée. En particulier, les organes d'application ne sauraient procéder en tout temps à une nouvelle appréciation de la situation après un examen plus approfondi des faits. Ainsi, une inexactitude manifeste ne saurait être admise lorsque l'octroi de la prestation dépend de conditions matérielles dont l'examen suppose un pouvoir d'appréciation, quant à certains de leurs aspects ou de leurs éléments, et que la décision initiale paraît admissible compte tenu de la situation antérieure de fait et de droit. S'il subsiste des doutes raisonnables sur le caractère erroné de la décision initiale, les conditions de la reconsidération ne sont pas remplies (arrêts 9C_308/2018 du 17 août 2018 consid. 2.2; 9C_508/2015 du 4 mars 2016 consid. 3). Selon la jurisprudence, l'octroi illégal de prestations est réputé sans nul doute erroné (<ref-ruling> consid. 2b/bb p. 401 et les références; DTA 2002 n° 27 consid. 1a p. 181). Ces principes sont aussi applicables lorsque des prestations ont été accordées sans avoir fait l'objet d'une décision formelle et que leur versement, néanmoins, a acquis force de chose décidée (<ref-ruling>).
5.2. Le Tribunal fédéral examine librement le point de savoir si la notion du caractère manifestement erroné de la décision a été appliquée par l'autorité de recours de manière conforme au droit fédéral au sens de l'art. 53 al. 2 LPGA. Les constatations sur lesquelles se fonde l'appréciation correspondante relèvent en revanche du fait et ne peuvent être examinées que sous l'angle d'une inexactitude manifeste ou de leur caractère incomplet (arrêt 9C_307/2011 du 23 novembre 2011 consid. 3.1 et les références).
6.
6.1. Selon l'art. 51 al. 1 LACI (RS 837.0), les travailleurs assujettis au paiement des cotisations, qui sont au service d'un employeur insolvable sujet à une procédure d'exécution forcée en Suisse ou employant des travailleurs en Suisse, ont droit à une indemnité pour insolvabilité notamment (let. a) lorsqu'une procédure de faillite est engagée contre leur employeur et qu'ils ont, à ce moment-là, des créances de salaire envers lui. L'indemnité couvre les créances de salaire portant sur les quatre derniers mois au plus d'un même rapport de travail, jusqu'à concurrence, pour chaque mois, du montant maximal visé à l'art. 3 al. 2 (art. 52 al. 1, 1 re phrase, LACI).
6.2. Dans le domaine des assurances sociales, le juge fonde généralement sa décision sur les faits qui, faute d'être établis de manière irréfutable, apparaissent comme les plus vraisemblables, c'est-à-dire qui présentent un degré de vraisemblance prépondérante. Il ne suffit donc pas qu'un fait puisse être considéré seulement comme une hypothèse possible; la vraisemblance prépondérante suppose que, d'un point de vue objectif, des motifs importants plaident pour l'exactitude d'une allégation, sans que d'autres possibilités revêtent une importance significative ou entrent raisonnablement en considération (<ref-ruling> consid. 5.3 p. 186; <ref-ruling> consid. 6.1 p. 45 et les références; voir également arrêt 9C_717/2009 du 20 octobre 2009 consid. 3.3).
6.3. Selon l'art. 74 OACI (RS 837.02), la caisse n'est autorisée à verser une indemnité en cas d'insolvabilité que lorsque le travailleur rend plausible sa créance de salaire envers l'employeur. Cette disposition consacre une atténuation du degré de la preuve en ce qui concerne le point de savoir si et dans quelle mesure il existe une créance de salaire contre l'employeur insolvable. L'assuré ne doit pas forcément l'établir au degré de la vraisemblance prépondérante. Il suffit qu'il existe des indices qu'une telle créance existe et que l'administration et le juge puissent être convaincus que les faits allégués se sont vraisemblablement produits, quand bien même on ne peut pas exclure qu'ils soient démentis lors d'un examen successif. En revanche, les autres conditions du droit à la prestation, comme en particulier l'existence d'un rapport de travail portant sur une activité en Suisse ou la survenance d'un cas d'insolvabilité, doivent être établies au degré de la vraisemblance prépondérante (<ref-ruling> consid. 3.3 et 4; JEAN MÉTRAL/JULIA LAURENCZY, Le degré de la preuve et l'allégement de son fardeau en droit des assurances sociales, Annales SDRCA 2019, p. 62 et 65; BORIS RUBIN, Commentaire de la loi sur l'assurance-chômage, 2014, n° 15 ad art. 51 LACI).
7.
7.1. En l'espèce, la question qui se posait à l'intimée au moment d'octroyer les prestations litigieuses portait sur l'existence et le montant de la créance de salaire du recourant contre son employeur insolvable. Il ressort des constatations de la juridiction cantonale, qui lient le Tribunal fédéral (cf. consid. 2 supra), que pour établir le montant des prestations dues au recourant, l'intimée s'était fondée sur les déclarations de celui-ci, lequel avait indiqué, par courrier de son mandataire du 7 novembre 2016, avoir été engagé par contrat oral par B._ à compter du 1er avril 2016 en qualité d'aide-recycleur à 100 % pour un montant brut de 4000 fr. par mois, payable treize fois l'an, et par contrat de travail écrit du 23 juin 2016 dès le 1er juillet 2016 pour un salaire brut de 5500 fr. par mois, le 13e salaire ayant été convenu oralement à la signature du contrat. Après que le SECO eut considéré, pour ce qui était de la part du 13e salaire, qu'une promesse orale ne rendait pas vraisemblable cette créance, la caisse a reconsidéré l'octroi de ses indemnités en cas d'insolvabilité notamment pour la part du 13e salaire.
7.2. Comme cela a été mentionné précédemment (cf. consid. 6.3 supra), la caisse n'est autorisée à verser une indemnité en cas d'insolvabilité que lorsque le travailleur rend plausible sa créance de salaire envers l'employeur insolvable, y compris le montant de celle-ci. A l'époque où l'intimée a alloué au recourant l'indemnité en cas d'insolvabilité, la part afférente au 13e salaire a été admise par la caisse de chômage, laquelle s'est fiée aux seules déclarations du recourant. Si le recourant ne devait certes pas établir au degré de la vraisemblance prépondérante qu'un droit au 13e salaire avait été convenu avec son ancien employeur, il devait à tout le moins rendre plausible l'existence de cette part de salaire supplémentaire. Or, déjà à l'époque où l'intimée avait octroyé les prestations litigieuses, il n'existait aucun indice d'un tel avantage salarial, exorbitant de la convention écrite des parties. En versant une indemnité en cas d'insolvabilité pour une part de salaire que le recourant n'avait pas même rendue plausible, la caisse de chômage a ainsi octroyé des prestations en violation de l'art. 74 OACI. Quoi qu'en dise le recourant, on ne se trouve pas dans la situation où la caisse de chômage aurait admis la vraisemblance du droit à un 13e salaire puis aurait procédé, une fois les prestations allouées, à un nouvel examen de cette vraisemblance sur la base d'une appréciation différente de la première qui aurait été, en soi, soutenable. L'intimée a omis d'exiger du recourant qu'il rende vraisemblable sa créance en tant qu'elle portait sur la part du 13e salaire et, partant, d'appliquer au cas d'espèce une disposition légale pertinente sur le degré de preuve requis pour en déduire un droit, si bien que les décomptes de prestations des 11 novembre 2016 et 31 mars 2017, par lesquels la caisse a sans autre admis le droit à un 13e salaire, étaient manifestement erronés. Sur ce point, le recours est par conséquent mal fondé. Le recourant ne contestant par ailleurs pas le calcul effectué par la juridiction cantonale, il y a lieu de confirmer le montant de 5690 fr. 15 soumis à restitution.
8.
Le recourant estime que le chiffe II du dispositif du jugement attaqué devrait être précisé en ce sens que le montant brut de 5690 fr. 15 soumis à restitution s'entend sous déduction des cotisations sociales légales. Se prévalant de l'art. 2 al. 3 OPGA (RS 830.11), il fait valoir qu'il n'aurait pas à restituer à l'autorité intimée les cotisations sociales prélevées par celle-ci et versées à d'autres assureurs sociaux.
L'art. 2 al. 3 OPGA, sur lequel se fonde le recourant, envisage une restitution entre assureurs sociaux et prescrit que le droit de l'assureur à la restitution est fixé en proportion des prestations touchées indûment qui peuvent être compensées par des versements effectués ultérieurement par d'autres assureurs sociaux, si les conditions posées par la LPGA et les lois spéciales pour la cession de prestations accordées rétroactivement par l'assureur et pour la compensation sont respectées (art. 20 al. 2 et 22 al. 2 let. b LPGA; SYLVIE PÉTREMAND, in: Commentaire romand, Loi sur la partie générale des assurances sociales, 2018, n° 43 ad art. 25 LPGA). Cette disposition a pour but d'empêcher une procédure de recouvrement à l'encontre du bénéficiaire de prestations lorsqu'il s'avère après coup qu'une assurance a payé indûment des prestations alors qu'un autre assureur était débiteur de prestations (p. ex. des prestations complémentaires s'avèrent avoir été versées à tort dans la mesure où une rente d'invalidité est octroyée rétroactivement; JOHANNA DORMANN, in: Commentaire bâlois, Allgemeiner Teil des Sozialversicherungsrechts, 2020, n° 42 ad art. 25 LPGA). En l'occurrence, on ne se trouve à l'évidence pas dans un tel cas de figure, de sorte que le recourant ne saurait rien tirer de cette disposition. Au reste, dans la mesure où le recourant a perçu initialement un montant brut de 21'290 fr. 80 et où le correctif du calcul des prestations dues au recourant, à savoir 15'600 fr. 65, a été effectué avec des montants bruts également (les salaires nets effectivement touchés par le recourant ont été convertis en montants bruts; cf. consid. 4.1.2 supra), c'est la différence entre ces deux montants bruts qui doit être restituée par le recourant.
Au vu de ce qui précède, il n'y a pas lieu de modifier le ch. II du dispositif du jugement attaqué dans le sens voulu par le recourant.
9.
Mal fondé, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Il n'y a par ailleurs pas lieu de modifier les dépens de l'instance cantonale, quoi qu'en dise le recourant (art. 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 3 juin 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin