Faits : A. A._, domicilié à B._, travaille au service de C._ SA. Il est père célibataire de l'enfant D._, née en 2008. Celle-ci réside au Brésil avec sa mère. Le 14 novembre 2011, A._ a présenté pour l'enfant une demande d'allocations familiales à la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes FER CIGA. Par décision du 18 novembre 2011, puis par décision sur opposition du 2 février 2012, la caisse de compensation a rejeté la demande au motif qu'il n'existait aucune convention internationale en matière d'allocations familiales entre la Suisse et le Brésil. B. A._ a recouru contre cette décision. Il a fait valoir que son taux d'activité (de 100 %) était consacré à raison de 40 % à une filiale de C._ SA en France, ce qui impliquait un travail sur site en France variant entre 20 et 40 % de son temps de travail. Il devait donc être considéré comme une personne travaillant à l'étranger pour le compte d'un employeur dont le siège est en Suisse et bénéficier, à ce titre, de l'allocation familiale prétendue. Statuant le 23 décembre 2013, la Ire Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours. C. A._ exerce un recours en matière de droit public dans lequel il conclut à l'annulation de l'arrêt cantonal et au versement par la caisse de compensation des allocations familiales en faveur de l'enfant D._. La caisse de compensation se réfère à ses décisions. L'Office fédéral des assurances sociales (OFAS), domaine des affaires internationales, s'est déterminé sur le recours et a préavisé son rejet.