Faits :
A.
A.a. A._, enseignant, a bénéficié d'allocations familiales versées par la Caisse d'allocations familiales du canton du Jura (ci-après: la caisse) pour son fils B._, né en 2013, dès l'arrivée de celui-ci et de sa maman C._ en Suisse, le 1 er août 2014. Le divorce de A._ et de C._ a été prononcé en date du 26 mai 2015. La convention de divorce prévoit notamment que le lieu de résidence de B._ sera à l'étranger dès le 1er août 2015, que A._ versera pour son fils, à titre de contribution d'entretien, une somme de 1000 fr. et que les allocations familiales lui sont acquises dès le 1er août 2015. Le 12 octobre 2017, le prénommé a déposé une demande d'allocations familiales, accompagnée de la convention de divorce du 26 mai 2015, en faveur de son fils D._, né en juillet 2017 de son union avec E._.
A.b. Par décision du 18 décembre 2017, confirmée sur opposition le 7 février 2018, la caisse a exigé la restitution d'un montant de 4650 fr., correspondant aux prestations versées indûment du 1er août 2015 au 30 novembre 2017 en faveur de B._ (7000 fr.), après déduction des allocations dues en faveur de D._ du 1er juillet 2017 au 31 décembre 2017 (2350 fr.).
A.c. Le 2 mars 2018, A._ a déposé une demande de remise de l'obligation de restituer. Par décision du 15 mars 2018, confirmée sur opposition le 28 mai 2018, la caisse a refusé d'accorder la remise, au motif que l'assuré ne pouvait pas se prévaloir de sa bonne foi. Elle a ainsi renoncé à examiner la condition de la situation difficile.
B.
Par jugement du 30 avril 2019, la Cour des assurances du Tribunal cantonal de la République et canton du Jura a admis le recours formé par A._, a annulé la décision litigieuse et a renvoyé la cause à la caisse pour examen de la condition de la situation difficile et nouvelle décision sur ce point.
C.
La caisse forme un recours en matière de droit public. Elle conclut à l'annulation du jugement du 30 avril 2019 et à la confirmation de sa décision sur opposition du 28 mai 2018.
L'intimé s'est déterminé de manière tardive. La cour cantonale conclut au rejet du recours tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.
1.1. Par le jugement attaqué, la juridiction cantonale a annulé la décision sur opposition du 28 mai 2018, au motif que la condition de la bonne foi était remplie, et a renvoyé la cause à l'administration pour examen de la condition de la situation difficile. Aussi ce jugement doit-il être qualifié de décision incidente, laquelle ne peut être déférée immédiatement au Tribunal fédéral qu'aux conditions prévues par l'<ref-law>, soit notamment si elle est susceptible de causer un préjudice irréparable.
1.2. Lorsqu'une autorité administrative est contrainte par un jugement incident à rendre une décision qu'elle estime contraire au droit et qu'elle ne pourra elle-même pas attaquer, elle risque de subir un préjudice irréparable au sens de l'art. 93 al. 1 let. c LTF et peut recourir directement au Tribunal fédéral contre un tel jugement (<ref-ruling> consid. 5.2 p. 483). Cette éventualité est en l'espèce réalisée car le jugement cantonal a un effet contraignant pour la caisse en ce sens que celle-ci devra statuer sur la remise éventuelle de l'obligation de restituer en étant liée quant à l'une des conditions de la remise, à savoir celle de la bonne foi.
1.3. Pour le reste, le recours est dirigé contre un arrêt rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur les conditions de la remise de l'obligation de restituer les allocations familiales indûment touchées, singulièrement sur le point de savoir si l'intimé remplit la condition de la bonne foi.
3.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 503) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
4.
4.1. Selon l'<ref-law> (RS 830.1), les prestations indûment touchées doivent être restituées. La restitution ne peut pas être exigée lorsque l'intéressé était de bonne foi et qu'elle le mettrait dans une situation difficile. Ces deux conditions matérielles sont cumulatives et leur réalisation est nécessaire pour que la remise de l'obligation de restituer soit accordée (<ref-ruling> consid. 3c p. 53; arrêt 9C_638/2014 du 13 août 2015 consid. 4.1).
4.2. Selon la jurisprudence, l'ignorance, par le bénéficiaire des prestations, du fait qu'il n'avait pas droit aux prestations ne suffit pas pour admettre sa bonne foi. Il faut bien plutôt que le requérant ne se soit rendu coupable non seulement d'aucune intention malicieuse, mais aussi d'aucune négligence grave. Il s'ensuit que la bonne foi, en tant que condition de la remise, est exclue d'emblée lorsque les faits qui conduisent à l'obligation de restituer - comme par exemple une violation du devoir d'annoncer ou de renseigner - sont imputables à un comportement dolosif ou à une négligence grave. On parlera de négligence grave lorsque l'ayant droit ne se conforme pas à ce qui peut raisonnablement être exigé d'une personne capable de discernement dans une situation identique et dans les mêmes circonstances (cf. <ref-ruling> consid. 3d p. 181). On peut attendre d'un assuré qu'il décèle des erreurs manifestes et qu'il en fasse l'annonce à la caisse (arrêt 9C_189/2012 du 21 août 2012 consid. 4 et les références). En revanche, le bénéficiaire peut invoquer sa bonne foi lorsque l'acte ou l'omission fautive ne constitue qu'une violation légère de l'obligation d'annoncer ou de renseigner (<ref-ruling> consid. 4 p. 220 s.; <ref-ruling> consid. 2c p. 103; <ref-ruling> consid. 3c p. 180). L'examen de l'attention exigible d'un ayant droit qui invoque sa bonne foi relève du droit et le Tribunal fédéral revoit librement ce point (<ref-ruling> consid. 3 p. 223; <ref-ruling> consid. b p. 246).
4.3. En vertu de l'<ref-law>, l'ayant droit, ses proches ou les tiers auxquels une prestation est versée sont tenus de communiquer à l'assureur ou, selon les cas, à l'organe compétent toute modification importante des circonstances déterminantes pour l'octroi d'une prestation. L'obligation d'annoncer toute modification des circonstances déterminantes est l'expression du principe de la bonne foi entre administration et administré (<ref-ruling> consid. 2.4.5 p. 17 et les références).
5.
5.1. La cour cantonale a considéré que l'on pouvait aisément déduire de la convention de divorce du 26 mai 2015, d'une part, que le montant de la contribution d'entretien en faveur de B._ avait été fixé en fonction de l'attribution des allocations familiales et, d'autre part, que ni la juge, ni les mandataires n'avaient prêté attention au fait que le changement de domicile de B._ impliquait la fin du droit aux allocations familiales en sa faveur. Ainsi, on ne pouvait pas reprocher trop sévèrement à l'intimé d'avoir omis d'annoncer à la caisse les changements relatifs à sa situation familiale. En effet, bien que la caisse soit l'autorité compétente pour décider du droit aux allocations familiales, il n'en demeurait pas moins que l'intimé pouvait, de bonne foi, croire que celles-ci continueraient à lui être versées, dès lors que cette question avait été fixée par une convention de divorce homologuée par une juge. Partant, l'omission fautive ne constituait qu'une violation légère du devoir d'annoncer, et la bonne foi de l'intimé devait être admise.
5.2. Invoquant une violation des <ref-law> et 4 OPGA (RS 830.11), la recourante reproche à la cour cantonale d'avoir confondu l'ignorance par l'intimé de l'illicéité du versement indu - ce qui n'est pas suffisant pour admettre la bonne foi - et le respect de l'obligation de communiquer toute modification à la caisse. Or elle considère qu'à cet égard, l'intimé a fait preuve de négligence grave. En effet, l'obligation de signaler tout changement d'état civil ou de résidence des enfants figurait dans la demande de prestations signée par l'intimé le 23 septembre 2014. L'obligation de communiquer toute modification de la situation de l'intimé ou de l'autre parent était en outre rappelée dans une décision de la caisse du 11 novembre 2014. Cette décision ne reconnaissait par ailleurs le droit aux allocations familiales en faveur de B._ qu'à partir de la date où celui-ci était domicilié en Suisse, de sorte que toute personne faisant preuve de l'attention commandée par les circonstances aurait dû se rendre compte qu'un départ pour l'étranger pouvait avoir une incidence sur le droit aux allocations familiales. Enfin, les déclarations faites dans la demande de remise du 2 mars 2018 démontreraient que l'intimé avait des doutes quant à son droit aux allocations familiales ou, à tout le moins, à son obligation de renseigner, de sorte qu'en s'abstenant de se renseigner auprès de la caisse, il aurait commis une négligence grave.
5.3. Les griefs de la recourante sont bien fondés. Le fait que l'intimé ait pu raisonnablement déduire de la convention de divorce qu'il avait toujours droit aux allocations familiales pour son fils B._, une fois celui-ci installé à l'étranger, n'est pas suffisant pour admettre sa bonne foi (cf. consid. 4.2 supra). Il lui incombait en l'occurrence de signaler ce changement de situation à la recourante, tout comme son divorce, conformément à l'<ref-law> (cf. consid. 4.3 supra). Or en omettant de le faire, alors même que l'obligation d'annoncer toute modification susceptible d'influer sur le droit aux prestations - comme un changement de résidence des enfants ou un changement d'état civil - figurait dans la demande de prestations qu'il a remplie le 23 septembre 2014 et que cette obligation était rappelée dans la décision d'octroi de prestations du 11 novembre 2014, l'assuré a fait preuve de négligence grave, excluant sa bonne foi (cf. consid. 4.2 supra).
5.4. Vu ce qui précède, le recours doit être admis.
6.
L'intimé, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Le jugement de la Cour des assurances du Tribunal cantonal de la République et canton du Jura du 30 avril 2019 est annulé et la décision sur opposition du 28 mai 2018 de la Caisse d'allocations familiales du canton du Jura est confirmée.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 juillet 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Paris