A.- A._ est père de deux enfants nées en 1985 et 1988. En 1992, il a été mis au bénéfice de mesures de réadaptation de l'assurance-invalidité (AI) et a ainsi perçu des indemnités journalières AI jusqu'au 31 juillet 1999.
Le 18 novembre 1992, la Caisse de compensation du canton de Fribourg (ci-après: la Caisse cantonale) a dénié à la femme de l'intéressé le droit à des allocations familiales cantonales pour enfant, parce que son mari percevait des indemnités journalières AI comportant une allocation pour enfant.
Cette décision n'a pas fait l'objet d'un recours.
Dans le cadre des mesures de réadaptation AI, A._ a suivi, du 1er août 1995 au 31 juillet 1999, un apprentissage de dessinateur en bâtiment durant lequel il a continué à toucher des indemnités journalières AI, en plus de son salaire d'apprenti. Il s'est inscrit au chômage après son apprentissage.
Le 16 septembre 1999, l'intéressé a déposé une demande d'allocations familiales. Par décision du 17 septembre 1999, la Caisse de compensation FRSP-CIFA (ci-après: la CIFA) a octroyé à A._ des allocations familiales en faveur de ses deux enfants pour la période du 1er septembre 1997 au 31 juillet 1999. Elle a considéré que les allocations familiales pour la période du 1er août 1995 au 31 août 1997 étaient prescrites selon l'art. 13 al. 2 de la loi fribourgeoise du 26 septembre 1990 sur les allocations familiales (ci-après:
la loi cantonale ou LAF).
Statuant le 25 octobre 1999 sur réclamation, la CIFA a confirmé sa décision du 17 septembre 1999.
B.- A._ a alors porté sa cause devant la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) qui, par arrêt du 25 janvier 2001, a rejeté le recours dans la mesure où il était recevable. Le Tribunal administratif a notamment relevé que le paiement rétroactif d'allocations familiales au-delà de vingt-quatre mois (soit au-delà du 1er septembre 1997, cf. art. 13 al. 2 LAF) n'était possible que si l'intéressé était dans l'ignorance des faits ouvrant droit à prestations, mais pas dans celle de sa prétention juridique. En outre, A._ ne pouvait se prévaloir de la protection de la bonne foi en invoquant la confiance placée dans le maintien d'une pratique administrative longtemps suivie, mais contraire à la loi.
C.- Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt rendu le 25 janvier 2001 par le Tribunal administratif et de renvoyer la cause à l'autorité intimée pour nouvelle décision dans le sens des considérants. Il invoque l'art. 9 Cst. Il se plaint en substance de violation des principes de l'interdiction de l'arbitraire et de la bonne foi.
Le Tribunal administratif et la CIFA ont expressément renoncé à répondre au recours.

Considérant en droit :
1.- Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 209).
a) Sous réserve d'exceptions non réalisées en l'espèce, le recours de droit public est de nature purement cassatoire (<ref-ruling> consid. 5a p. 96). Dans la mesure où le recourant demande autre chose que l'annulation de l'arrêt entrepris - en particulier le renvoi de la cause à l'autorité intimée pour nouvelle décision dans le sens des considé-rants -, ses conclusions sont irrecevables.
b) Au surplus, déposé en temps utile et dans les formes prescrites par la loi par une personne ayant manifestement qualité pour recourir, le présent recours remplit en principe les conditions de recevabilité des art. 84 ss OJ, de sorte que le Tribunal fédéral peut entrer en matière.
c) Selon l'art. 90 al. 1 lettre b OJ, l'acte de recours doit - sous peine d'irrecevabilité - contenir "un exposé des faits essentiels et un exposé succinct des droits constitutionnels ou des principes juridiques violés, précisant en quoi consiste la violation". Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier, de lui-même, si l'acte attaqué est en tout point conforme au droit et à l'équité; il n'examine que les moyens de nature constitutionnelle, invoqués et suffisamment motivés dans l'acte de recours (<ref-ruling> consid. 1c p. 76).
En outre, dans un recours pour arbitraire fondé sur l'art. 9 Cst. (cf. l'art. 4 aCst.), le recourant ne peut pas se contenter de critiquer la décision entreprise comme il le ferait dans une procédure d'appel où l'autorité de recours peut revoir librement l'application du droit (<ref-ruling>). Il doit préciser en quoi la décision attaquée serait arbitraire, ne reposant sur aucun motif sérieux et objectif, apparaissant insoutenable ou heurtant gravement le sens de la justice (<ref-ruling> consid. 2a p. 3/4).
C'est à la lumière de ces principes que doit être appréciée l'argumentation de l'intéressé.
2.- Le recourant se plaint que l'autorité intimée ait fait une application arbitraire de l'art. 13 LAF.
a) Selon l'art. 13 al. 1 LAF, le droit de réclamer le paiement des allocations familiales arriérées s'éteint cinq ans après la fin du mois pour lequel elles étaient dues.
D'après l'art. 13 al. 2 1ère phrase LAF, si l'ayant-droit présente sa demande plus de vingt-quatre mois après la naissance du droit, les allocations familiales ne sont allouées que pour les vingt-quatre mois précédant le dépôt de la demande.
Elles sont allouées pour une période antérieure si l'ayant-droit ne pouvait pas connaître les faits ouvrant droit à prestations et qu'il présente sa demande dans les douze mois dès le moment où il en a eu connaissance (art. 13 al. 2 2e phrase LAF).
b) Le Tribunal administratif a estimé que l'intéressé ne pouvait pas bénéficier d'allocations familiales pour la période antérieure au 1er septembre 1997, car il n'était pas dans l'ignorance des faits donnant lieu au versement d'allocations familiales, mais dans celle du droit à ces dernières en raison de la décision de la Caisse cantonale du 18 novembre 1992.
Le recourant ne développe pas d'argumentation démontrant que le Tribunal administratif aurait violé l'art. 13 LAF en dissociant l'ignorance des faits ouvrant droit à prestations de la méconnaissance de ce droit lui-même. En outre, l'intéressé n'invoque pas l'ignorance de faits ouvrant droit à prestations, mais fait valoir qu'il ne connaissait pas le droit à des allocations familiales vu la décision prise le 18 novembre 1992 par la Caisse cantonale.
Dès lors, la motivation du recourant ne satisfait pas aux exigences strictes de l'art. 90 al. 1 lettre b OJ. Le moyen tiré de la violation du principe de l'interdiction de l'arbitraire n'est par conséquent pas recevable.
3.- Le recourant reproche à l'autorité intimée d'avoir violé le principe de la bonne foi consacré par l'art. 9 Cst.
Il prétend avoir renoncé à solliciter des allocations familiales pendant des années, notamment lorsqu'il a commencé son apprentissage, en raison de la décision de la Caisse cantonale du 18 novembre 1992. De plus, l'employeur de sa femme, qui était alors le canton de Fribourg, avait confirmé le bien-fondé de cette décision; cet avis, qui expliquait que ladite décision n'ait pas été attaquée, avait également incité l'intéressé à s'abstenir de demander des allocations familiales. En outre, depuis 1992, aucun changement dans la situation personnelle du recourant ne justifiait une nouvelle requête d'allocations familiales.
a) La jurisprudence relative au principe de la bonne foi établie sur la base de l'art. 4 aCst. est encore valable au regard des art. 5 al. 3 et 9 Cst. Le principe de la bonne foi confère au citoyen, à certaines conditions (au sujet de ces conditions, cf. <ref-ruling> consid. 3a p. 213/214 et, spécialement à propos de renseignements inexacts, 121 V 65 consid. 2 p. 66/67), le droit d'exiger de l'autorité qu'elle se conforme aux assurances ou renseignements erronés qu'elle a donnés et ne trompe pas la confiance qu'à juste titre il a placée dans ces assurances ou renseignements (cf. <ref-ruling> consid. 2c p. 479).
b) En l'espèce, le recourant n'a pas reçu d'assurance ou de renseignement erroné. D'une part, la décision prise le 18 novembre 1992 par la Caisse cantonale ne constituait ni une assurance, ni un renseignement. D'autre part, cette décision était conforme à la pratique administrative en vigueur et à l'interprétation communément admise de la loi cantonale au sujet du cumul des allocations familiales cantonales et des indemnités journalières AI. Ce n'est qu'à la suite d'un arrêt rendu le 3 mars 1994 par le Tribunal administratif que cette pratique a été modifiée. La Caisse cantonale ne pouvait assurément pas informer tous les destinataires de ses décisions antérieures du changement de pratique imposé par le Tribunal administratif.
En outre, c'est à tort que le recourant a attaché un caractère quasi immuable à la décision de la Caisse cantonale du 18 novembre 1992. Cette décision aurait pu faire l'objet d'un recours et la solution qu'elle consacrait aurait pu être renversée par l'autorité de recours. Or, non seulement la femme de l'intéressé n'a pas recouru contre cette décision, mais encore le recourant a écarté la possibilité d'un changement de pratique dans ce domaine. En réalité, au moment où il a commencé son apprentissage, l'intéressé aurait dû s'assurer qu'il n'y avait pas eu de modification de la pratique en vigueur plus de deux ans et demi auparavant. Il a donc fait preuve de négligence et ne saurait justifier son attitude par l'avis que l'employeur de sa femme avait donné à l'époque sur la décision de la Caisse cantonale du 18 novembre 1992. Il n'appartient pas maintenant à la CIFA de réparer la négligence de l'intéressé par le biais de l'art. 13 LAF, alors qu'elle-même n'a pas fourni d'assurance ou de renseignement, ni pris de décision antérieurement à celle qui est à la base du présent litige.
Le moyen tiré d'une prétendue violation du principe de la bonne foi n'est donc pas fondé.
4.- Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable.
2. Met à la charge du recourant un émolument judiciaire de 2'000 fr.
3. Communique le présent arrêt en copie à la représentante du recourant, à la Caisse de compensation FRSP-CIFA et à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg.
_
Lausanne, le 6 juillet 2001 DAC
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,