Faits :
A.
A._ était employé auprès de la Ville B._ et avait à ce titre droit aux allocations familiales pour ses deux enfants. Au mois de septembre 2015, sa fille C._, née en 1995, a débuté une formation de Bachelor à l'école D._. En raison de cette formation, les allocations familiales ont été maintenues.
Après avoir découvert que C._ exerçait en parallèle de ses études une activité lucrative qui lui procurait dès le 1er janvier 2016 un revenu annuel (brut) supérieur à la limite de 28'800 fr. permettant l'octroi d'une allocation de formation professionnelle, la Caisse cantonale neuchâteloise de compensation pour allocations familiales (ci-après: la Caisse) a, par décision du 17 décembre 2018, confirmée sur opposition le 7 juin 2019, réclamé à A._ la restitution de la somme de 9900 fr. correspondant aux allocations de formation indûment perçues du 1er janvier 2016 au 30 septembre 2018.
B.
Par arrêt du 28 mai 2020, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel a admis le recours formé par l'assuré contre la décision sur opposition du 7 juin 2019, qu'elle a annulée.
C.
La Caisse interjette un recours en matière de droit public contre cet arrêt, en concluant principalement à sa réforme dans le sens de la confirmation de sa décision sur opposition du 7 juin 2019. A titre subsidiaire, elle conclut à l'annulation de l'arrêt entrepris suivie du renvoi de la cause à l'instance précédente pour qu'elle rende un nouvel arrêt au sens des considérants.
L'intimé conclut au rejet du recours, tandis que la cour cantonale et l'Office fédéral des assurances sociales (OFAS) ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>), rendu dans une cause de droit public ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>, par une autorité supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). La voie du recours en matière de droit public est partant ouverte.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement la violation du droit fédéral (cf. art. 95 let. a et art. 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Par ailleurs, l'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3.
Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en annulant l'obligation de l'intimé de restituer à la Caisse le montant de 9900 fr. correspondant aux allocations de formation perçues du 1er janvier 2016 au 30 septembre 2018.
4.
4.1. Aux termes de l'art. 3 al. 1 let. b de la loi fédérale du 24 mars 2006 sur les allocations familiales (LAFam; RS 836.2), l'allocation de formation est octroyée à partir du début du mois au cours duquel l'enfant commence une formation postobligatoire. Elle est versée jusqu'à la fin de la formation de l'enfant, mais au plus tard jusqu'à la fin du mois au cour duquel il atteint l'âge de 25 ans. Selon l'art. 1 al. 1 de l'ordonnance du 31 octobre 2007 sur les allocations familiales (OAFam; RS 836.21), un droit à l'allocation de formation existe pour les enfants accomplissant une formation au sens de l'art. 49biset 49ter du règlement du 31 octobre 1947 sur l'assurance-vieillesse et survivants (RAVS; RS 831.101).
L'<ref-law> prévoit qu'un enfant est réputé en formation lorsqu'il suit une formation régulière reconnue de jure ou de facto à laquelle il consacre la majeure partie de son temps et se prépare systématiquement à un diplôme professionnel ou obtient une formation générale qui sert de base en vue de différentes professions (al. 1); sont également considérées comme formation les solutions transitoires d'occupation telles que les semestres de motivation et les préapprentissages, les séjours au pair et les séjours linguistiques, pour autant qu'ils comprennent une partie de cours (al. 2); l'enfant n'est pas considéré en formation si son revenu d'activité lucrative mensuel moyen est supérieur à la rente de vieillesse complète maximale de l'AVS (al. 3), telle que définie à l'art. 34 al. 3 et 5 LAVS. Autrement dit, lorsqu'un enfant perçoit un revenu d'activité lucrative mensuel moyen supérieur à la rente de vieillesse maximale AVS, il n'a pas droit à l'allocation de formation professionnelle, quand bien même il suit une formation remplissant les conditions des al. 1 et 2 (cf. <ref-ruling>).
4.2. L'art. 25 al. 1, 1re phrase, LPGA (RS 830.1), auquel renvoie l'<ref-law>, prévoit que les prestations indûment touchées doivent être restituées. L'obligation de restituer suppose que soient réunies les conditions d'une révision procédurale (<ref-law>) ou d'une reconsidération (<ref-law>) de la décision par laquelle les prestations en cause ont été allouées (<ref-ruling> consid. 3.2 p. 260; <ref-ruling> consid. 5.2.1 p. 431; <ref-ruling> consid. 5.2 p. 319 s. et les références).
4.3. Aux termes de l'<ref-law>, l'assureur peut revenir sur les décisions ou les décisions sur opposition formellement passées en force lorsqu'elles sont manifestement erronées et que leur rectification revêt une importance notable. Ces principes sont aussi applicables lorsque des prestations ont été accordées sans avoir fait l'objet d'une décision formelle et que leur versement, néanmoins, a acquis force de chose décidée (<ref-ruling> consid. 2.1 p. 381 s.; <ref-ruling> consid. 1.1 p. 110, arrêt 8C_39/2019 du 10 juillet 2019 consid. 4.2).
Par le biais de la reconsidération, on corrigera une application initiale erronée du droit (arrêt 8C_706/2019 du 28 août 2020 consid. 4.2, destiné à la publication). Selon la jurisprudence, la condition du caractère manifestement erroné est ainsi réalisée lorsque la décision a été rendue en violation manifeste du principe inquisitoire (cf. <ref-law>) sur la base d'un état de fait établi de manière incomplète. L'exigence du caractère manifestement erroné de la décision est également réalisée lorsque le droit à des prestations d'assurance a été admis en application des fausses bases légales ou que les normes déterminantes n'ont pas été appliquées ou l'ont été de manière incorrecte (<ref-ruling> précité consid. 3.1 p. 79; <ref-ruling> consid. 3.3 p. 328).
4.4. Le droit de demander la restitution s'éteint un an après le moment où l'institution a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation (art. 25 al. 2, 1re phrase, LPGA). Il s'agit de délais (relatif et absolu) de péremption, qui doivent être examinés d'office (<ref-ruling> consid. 2.1 p. 219; <ref-ruling> consid. 3.2.2 p. 24).
5.
5.1. La cour cantonale a retenu qu'il n'existait pas de titre de révocation (reconsidération ou révision) permettant à la recourante de requérir la restitution des prestations indûment touchées. S'agissant en particulier de la reconsidération, elle a constaté que la recourante avait versé à l'intimé des allocations familiales en se fondant sur les attestations de cours de l'école D._ et qu'aucun élément au dossier ne lui permettait d'aboutir à la conclusion que les conditions d'un tel versement n'étaient pas remplies; la recourante était ainsi informée que la fille de l'intimé poursuivait une formation en emploi dans la filière menant au Bachelor of Science HES-SO en Economie d'entreprise et rien au dossier ne laissait supposer que le revenu que la fille de l'intimé tirait de son activité lucrative était supérieur à la rente de vieillesse complète maximale de l'AVS. On ne pouvait donc pas conclure que le versement des prestations en cause était manifestement erroné. La cour cantonale a en outre précisé que dans la mesure où les conditions d'une reconsidération ou d'une révision n'étaient pas remplies, la question de savoir si la recourante avait agi dans les délais (<ref-law>) pouvait rester indécise.
5.2. La recourante invoque une violation du droit fédéral, en particulier un abus du pouvoir d'appréciation ainsi qu'un établissement manifestement inexact des faits. Elle fait valoir que ce serait à tort que la cour cantonale a considéré que les conditions de la reconsidération n'étaient pas remplies, dans la mesure où ce serait en omettant de faire application de l'<ref-law> que le droit aux allocations familiales pour la fille de l'intimé avait été reconnu.
5.3. Ce grief est fondé. Force est d'admettre avec la recourante que la constatation de la cour cantonale, selon laquelle aucun élément ne permettait de douter du bien-fondé du versement des allocations pour formation, est manifestement inexacte. En effet, compte tenu de la mention "en emploi" que l'on retrouve sur toutes les attestations de cours produites par l'intimé, il était clair que la fille de l'intimé exerçait une activité lucrative parallèlement à ses études. Contrairement à l'appréciation des premiers juges, cette mention à elle seule ne permettait toutefois pas de tirer une quelconque conclusion quant au montant du revenu que la fille de l'intimé percevait de l'exercice de cette activité, notamment quant au point de savoir si ce revenu était inférieur ou supérieur à la rente de vieillesse complète maximale de l'AVS. Il sied de constater que cet élément aurait dû conduire la recourante à requérir - dès la première attestation de cours reçue le 28 septembre 2015 - des informations complémentaires de la part de l'intimé sur l'activité accessoire exercée par sa fille et le revenu qui en résultait. En omettant d'instruire cet état de fait pourtant décisif pour le droit aux allocations de formation, la recourante a alloué des prestations en violation manifeste du principe inquisitoire (cf. <ref-law>) sur la base d'un état de fait établi de manière incomplète. C'est aussi en raison de ce défaut d'instruction que la recourante n'a pas appliqué la disposition légale topique, soit l'<ref-law>. Dès lors, il sied de conclure que les conditions d'une reconsidération sont remplies.
5.4. Il résulte de ce qui précède que le recours doit être partiellement admis et la cause renvoyée à l'instance précédente afin qu'elle se prononce sur la question de la péremption de la créance en restitution (<ref-law>)et qu'elle rende ensuite une nouvelle décision.
6.
En ce qui concerne la répartition des frais judiciaires et des dépens, le renvoi de la cause pour nouvel examen et décision revient à obtenir gain de cause au sens des art. 66 al. 1 et 68 al. 1 et 2 LTF, indépendamment du fait qu'une conclusion ait ou non été formulée à cet égard, à titre principal ou subsidiaire (<ref-ruling> consid. 7.1 p. 271; arrêt 8C_465/2017 du 12 janvier 2018 consid. 5, non publié in <ref-ruling>). L'intimé, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'elle obtienne gain de cause, la recourante n'a pas droit à une indemnité de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel du 28 mai 2020 est annulée. La cause est renvoyée à la cour cantonale pour qu'elle rende une nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3.
Le présent arrêt est communiqué aux parties, à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 2 février 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu