Faits :
A.
A._, domicilié à B._, travaille au service de C._ SA. Il est père célibataire de l'enfant D._, née en 2008. Celle-ci réside au Brésil avec sa mère. Le 14 novembre 2011, A._ a présenté pour l'enfant une demande d'allocations familiales à la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes FER CIGA.
Par décision du 18 novembre 2011, puis par décision sur opposition du 2 février 2012, la caisse de compensation a rejeté la demande au motif qu'il n'existait aucune convention internationale en matière d'allocations familiales entre la Suisse et le Brésil.
B.
A._ a recouru contre cette décision. Il a fait valoir que son taux d'activité (de 100 %) était consacré à raison de 40 % à une filiale de C._ SA en France, ce qui impliquait un travail sur site en France variant entre 20 et 40 % de son temps de travail. Il devait donc être considéré comme une personne travaillant à l'étranger pour le compte d'un employeur dont le siège est en Suisse et bénéficier, à ce titre, de l'allocation familiale prétendue.
Statuant le 23 décembre 2013, la Ire Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours.
C.
A._ exerce un recours en matière de droit public dans lequel il conclut à l'annulation de l'arrêt cantonal et au versement par la caisse de compensation des allocations familiales en faveur de l'enfant D._.
La caisse de compensation se réfère à ses décisions. L'Office fédéral des assurances sociales (OFAS), domaine des affaires internationales, s'est déterminé sur le recours et a préavisé son rejet.

Considérant en droit :
1.
Le jugement attaqué est une décision finale (art. 90 LTF), rendue dans une cause de droit public (art. 82 let. a LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) et qui ne tombe pas sous le coup d'une exception de l'art. 83 LTF, de sorte qu'il peut faire l'objet d'un recours en matière de droit public au Tribunal fédéral.
2.
2.1. Selon l'art. 4 al. 3 de la loi fédérale du 24 mars 2006 sur les allocations familiales (LAFam; RS 836.2), le Conseil fédéral détermine les conditions d'octroi des allocations pour les enfants vivant à l'étranger (première phrase). En exécution de ce mandat, le Conseil fédéral a adopté l'art. 7 de l'ordonnance du 31 octobre 2007 sur les allocations familiales (OAFam; RS 836.21) qui, dans sa version en vigueur depuis le 1 er janvier 2012 et sous le titre "Enfants à l'étranger" prévoit ceci:
1 Pour les enfants ayant leur domicile à l'étranger, les allocations familiales ne sont versées que si une convention internationale le prévoit.
1bis Pour les enfants quittant la Suisse afin de suivre une formation, il est présumé pendant cinq ans au plus qu'ils conservent leur domicile en Suisse. Ce délai commence au plus tôt dès que l'enfant atteint l'âge de 16 ans.
2 Les salariés assurés obligatoirement à l'AVS conformément à l'art. 1a, al. 1, let. c, ou al. 3, let. a LAVS ou en vertu d'une convention internationale ont droit aux allocations familiales pour les enfants domiciliés à l'étranger même si aucune convention internationale ne le prévoit.
Dans son ancienne version (en vigueur jusqu'au 31 décembre 2011), cette disposition réglementaire subordonnait déjà le versement d'allocations familiales pour les enfants ayant leur domicile à l'étranger à l'existence d'une convention internationale sur ce point conclue entre la Suisse et l'Etat de domicile de l'enfant. Le Tribunal fédéral a jugé que cette condition restait dans les limites de l'art. 4 al. 3 LAFam et ne violait pas l'art. 8 al. 1 et 2 Cst. (<ref-ruling> consid. 4 p. 395; <ref-ruling>).
2.2. En l'espèce, il est constant qu'aucune convention de ce type n'a été conclue entre la Suisse et le Brésil. La condition prévue par l'art. 7 al. 1 OAFam n'est dès lors pas remplie.
3.
3.1. Le recourant invoque toutefois l'art. 1a al. 3 let. a LAVS, auquel renvoie l'art. 7 al. 2 OAFam. Selon cette disposition de la LAVS, peuvent demeurer assurées les personnes qui travaillent à l'étranger pour le compte d'un employeur dont le siège est en Suisse et qui sont rémunérées par lui, pour autant qu'il y consente. Le recourant reproche aux juges cantonaux de ne pas avoir correctement appliqué les deux dispositions invoquées du moment qu'il travaille (partiellement ou à plein temps) à l'étranger, pour le compte d'un employeur en Suisse et qu'il est affilié à l'AVS pour l'ensemble de son activité.
3.2. Le recourant est de nationalité suisse. Il affirme exercer une activité lucrative simultanément sur le territoire suisse et en France, soit sur le territoire d'un Etat membre de l'Union européenne. Jusqu'au 31 mars 2012, les Parties à l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), appliquaient entre elles le Règlement (CEE) n° 1408/71 du Conseil du 14 juin 1971 relatif à l'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté (règlement n° 1408/71). Une décision n° 1/2012 du Comité mixte du 31 mars 2012 (RO 2012 2345) a actualisé le contenu de l'Annexe II à l'ALCP avec effet au 1 er avril 2012 en prévoyant en particulier que les Parties appliqueraient désormais entre elles le Règlement (CE) n° 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale, modifié par le Règlement (CE) n° 988/2009 du Parlement européen et du Conseil du 16 septembre 2009.
3.3. Comme le souligne avec raison l'OFAS, l'art. 14 par. 2 let. b point i) du Règlement n° 1408/71 prévoit qu'une personne qui exerce pour un employeur une activité salariée sur le territoire de deux ou plusieurs Etats membres est exclusivement soumise à la législation de l'Etat membre sur le territoire duquel elle réside, si elle exerce une partie de son activité sur ce territoire. Cette disposition est directement applicable ("self executing") et l'emporte donc sur une éventuelle réglementation divergente du droit national (cf. par exemple arrêt 9C_873/2012 du 25 février 2013 consid. 4.2.1). Il en résulte que le recourant est soumis obligatoirement aux assurances sociales suisses, notamment à l'AVS pour l'ensemble de son activité. De ce point de vue, sa situation n'est pas modifiée sous le régime du Règlement n° 883/2004. En effet, selon l'art. 13 par. 1 let. a de ce règlement, la personne qui exerce normalement une activité salariée dans deux ou plusieurs Etats membres est soumise à la législation de l'Etat membre de résidence, si elle exerce une partie substantielle de son activité dans cet Etat membre, ce qui est le cas en l'espèce.
3.4. Ce n'est donc pas en vertu de l'art. 1a al. 3 let. a LAVS que le recourant est soumis à l'AVS également pour l'activité qu'il prétend exercer en France. On notera au demeurant que cette disposition légale permet la continuation de l'assurance sur une base seulement volontaire. Ainsi l'assurance peut-elle être résiliée par l'assuré, avec l'accord de son employeur, pour la fin d'un mois, moyennant un préavis de trente jours (art. 5c du règlement du 31 octobre 1947 sur l'assurance-vieillesse et survivants [RAVS; RS 831.101]). La continuation est subordonnée à une présentation d'une requête conjointe de l'employeur et du salarié (art. 5a RAVS). Or, dans le cas particulier, aucune requête n'a été présentée à la caisse de compensation.
4.
Quant aux autres éventualités envisagées par l'art. 7 al. 2 OAFam, qui permettent une exportation des allocations dans le monde entier, indépendamment de l'existence d'une convention internationale, elles n'entrent pas en considération. L'art. 1a al. 1 let. c LAVS concerne les ressortissants suisses qui travaillent à l'étranger au service de la Confédération ou d'organisations internationales ou encore d'organisations d'entraide privées. Enfin, les salariés obligatoirement assurés en vertu d'une convention internationale visée par l'art. 7 al. 2 OAFam concernent les travailleurs détachés ( DOROTHEA RIEDI HUNOLD Familienleistungen, in Recht der Sozialen Sicherheit - Sozialversicherungen, Opferhilfe, Sozialhilfe, Beraten und Prozessieren, 2014, p. 1201 n. 33.83; UELI KIESER/MARCO REICHMUTH, Bundesgesetz über die Familienzulagen, Praxiskommentar, n. 88 ad art. 4 LAFam). Il s'agit de travailleurs salariés qui quittent leur pays habituel d'emploi (Etat d'envoi) pour exercer leur activité durant un temps limité sur le territoire d'un autre pays (Etat d'emploi) tout en restant au service de leur employeur (voir à propos de ces conventions, Jean-Maurice Frésard/Jean Métra L, Le détachement de travailleurs salariés en matière de sécurité sociale, in: Soziale Sicherheit - Soziale Unsicherheit, Festschrift für Erwin Murer zum 65. Geburtstag, 2010, p. 164 ss.). Ce n'est pas le cas du recourant.
5.
De ce qui précède, il résulte que le recours est mal fondé.
Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal fribourgeois et à l'Office fédéral des assurances sociales.
Lucerne, le 6 janvier 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : von Zwehl