A.- Du 1er novembre 1993 au 31 octobre 1998, F._ a perçu des indemnités de chômage de la Caisse publique de chômage du canton de Fribourg (ci-après : la caisse publique). Le 9 août 1993, il avait déposé une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Fribourg. A la suite de la décision du 8 mars 2000 de l'office de l'assurance-invalidité lui reconnaissant un taux d'invalidité de 68 pour cent à compter du 1er novembre 1993, la Caisse de compensation interprofessionnelle AVS de la Fédération romande des syndicats patronaux (FRSP-CIFA) a communiqué à la caisse publique le montant des arrérages de rentes en faveur de F._ (164 784 fr.).
Par décision du 26 mai 2000, la caisse publique a réclamé à l'assuré la restitution, jusqu'à concurrence de 66 502 fr. 65, des indemnités versées du 1er novembre 1993 au 31 octobre 1998. Le montant soumis à restitution était proportionnel au degré de l'incapacité de gain retenu par l'assurance-invalidité (68 pour cent). Le même jour, la caisse publique a requis de la FRSP-CIFA la compensation avec des paiements rétroactifs de l'assurance-invalidité de 65 542 fr. 20, montant qui lui a été versé. La différence, par 960 fr. 45, devait être remboursée directement par l'assuré.
B.- F._ a recouru contre cette décision devant le Tribunal administratif du canton de Fribourg. Il concluait à son annulation, subsidiairement à sa modification pour tenir compte de la péremption et/ou de la prescription partielle de la créance en restitution.
Dans sa réponse au recours, la caisse publique a accepté de ramener à 163 fr. 60 (au lieu de 960 fr. 45) le montant à restituer directement par l'assuré, pour cause de péremption partielle.
Statuant le 25 janvier 2001, le tribunal administratif a admis le recours. Il a pris acte de la réduction de la prétention de la caisse publique en ce qui concerne le montant à rembourser directement par l'assuré. Il a en outre condamné la caisse publique à restituer à ce dernier 19 448 fr. 10. Enfin, il a accordé à l'assuré une indemnité de dépens de 2152 fr. Le tribunal a considéré que le remboursement, par compensation, des prestations versées pour la période antérieure au 25 mai 1995 (19 448 fr. 10) ne pouvait plus être exigé, en raison de l'écoulement du délai de péremption de cinq ans.
C.- Le Secrétariat d'Etat à l'économie (seco) interjette recours de droit administratif contre ce jugement dont il demande principalement l'annulation. A titre subsidiaire, il conclut au renvoi de la cause à la caisse publique pour examiner la question de la surindemnisation.
F._ conclut au rejet du recours avec suite de dépens. Il demande en outre au tribunal de lui accorder des intérêts moratoires sur les montants de 19 448 fr. 10 et de 2152 fr. Quant à la caisse publique, elle se rallie aux conclusions du seco.

Considérant en droit :
1.- Dans un premier moyen, le recourant soutient que la juridiction cantonale aurait dû déclarer irrecevable le recours porté devant elle, faute d'un intérêt digne de protection de l'assuré. En contestant la compensation, l'assuré visait une indemnisation "à double" et donc un enrichissement illégitime.
a) Selon l'<ref-law>, a qualité pour former recours, celui qui est touché par la décision et à un intérêt digne de protection à ce qu'elle soit annulée ou modifiée. Le contenu de cette disposition correspond à celui de l'art. 103 let. a OJ si bien que la jurisprudence développée au sujet de cette disposition est applicable (cf. Thomas Nussbaumer, Arbeitslosenversicherung, in :
Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, ch. 738 et les références.).
La jurisprudence considère comme intérêt digne de protection tout intérêt pratique ou juridique à demander la modification ou l'annulation de la décision attaquée que peut faire valoir une personne atteinte par cette dernière.
L'intérêt digne de protection consiste ainsi en l'utilité pratique que l'admission du recours apporterait au recourant ou, en d'autres termes, dans le fait d'éviter un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait. L'intérêt doit être direct et concret; en particulier, la personne doit se trouver dans un rapport suffisamment étroit avec la décision; tel n'est pas le cas de celui qui n'est atteint que de manière indirecte ou médiate (<ref-ruling> consid. 1b, 125 V 342 consid. 4a et les références).
b) On ne saurait sérieusement contester que la décision litigieuse entraîne des conséquences matérielles importantes pour l'assuré qui se trouve directement atteint dans ses intérêts pécuniaires. Partant, il avait un intérêt digne de protection à recourir devant la juridiction cantonale.
Contrairement à l'opinion du seco, cette question ne saurait en effet se confondre avec celle des mérites d'un recours qui ressortit à l'examen au fond. En effet, l'argumentation du recourant conduirait à déclarer irrecevable tout recours reconnu infondé après examen du fond ce qui n'est manifestement pas le sens de la disposition précitée.
Le grief doit ainsi être écarté.
2.- a) En vertu de l'<ref-law>, le handicapé physique ou mental est réputé apte à être placé lorsque, compte tenu de son infirmité et dans l'hypothèse d'une situation équilibrée sur le marché de l'emploi, un travail convenable pourrait lui être procuré sur ce marché. Le Conseil fédéral règle la coordination avec l'assurance-invalidité. D'après l'art. 15 al. 3 première phrase OACI, lorsque, dans l'hypothèse d'une situation équilibrée sur le marché du travail, un handicapé n'est pas manifestement inapte au placement et qu'il s'est annoncé à l'assurance-invalidité ou à une autre assurance selon l'<ref-law>, il est réputé apte au placement jusqu'à la décision de l'autre assurance.
La présomption légale instituée par cette réglementation entraîne, pour l'assurance-chômage, une obligation d'avancer les prestations à l'assuré, cela par rapport aux autres assurances sociales. Il s'agit d'un cas de prise en charge provisoire (ou préalable) des prestations. Quand l'assuré au chômage s'annonce à l'assurance-invalidité, cette prise en charge provisoire vise à éviter qu'il se trouve privé de prestations d'assurance pendant la période de carence d'une année selon l'<ref-law> et plus généralement pendant le temps nécessaire à l'assurance-invalidité pour statuer sur la demande dont elle est saisie (Nussbaumer, op. cit. , ch. 228; Gerhards, Kommentar zum Arbeitslosenversicherungsgesetz, vol. I, note 99 ad <ref-law>; voir aussi Ueli Kieser, Die Taggeldkoordination im Sozialversicherungsrecht, in: PJA 2000 p. 256).
b) Lorsque, par la suite, l'autre assureur social requis octroie des prestations, la correction intervient selon les <ref-law> (compensation) et 95 LACI (restitution des prestations). Ainsi, l'assuré qui reçoit des indemnités de chômage pour une certaine période et qui, ultérieurement, est mis au bénéfice d'une rente de l'assurance-invalidité pour la même période est tenu de restituer les indemnités perçues; lorsque l'assuré, malgré le versement d'une rente, disposait d'une capacité résiduelle de gain susceptible d'être mise à profit, le montant soumis à restitution est proportionnel au degré de l'incapacité de gain (DTA 1998 no 15 p. 82 consid. 5, 1988 no 5 p. 38 consid. 4c et d).
La restitution s'opère, en tout ou partie, par compensation avec des arriérés de rentes de l'assurance-invalidité. A cet égard, l'<ref-law> prévoit en effet que lorsqu'une caisse verse des indemnités de chômage et qu'ultérieurement une autre assurance sociale fournisse, pour la même période, des prestations qui ont pour effet d'entraîner le remboursement de l'indemnité de chômage, la caisse exige la compensation en s'adressant à l'assureur compétent. Conformément au principe de la concordance temporelle exprimé par cette disposition réglementaire, seuls les jours pour lesquels l'assuré a été indemnisé par l'assurance-chômage peuvent être pris en considération pour la compensation et non pas toute la période de chômage coïncidant avec celle pendant laquelle la rente de l'assurance-invalidité a été versée (DTA 1999 no 39 p. 231 consid. 3a). Si la créance en restitution n'est pas entièrement éteinte par la compensation, la caisse de chômage est fondée à rendre à l'endroit de l'assuré une décision de restitution pour le solde, aux conditions de l'<ref-law> et sous réserve d'une remise prévue à l'<ref-law>.
3.- a) Dans le cas particulier, l'assuré a requis l'octroi d'allocations de chômage, peu de temps après avoir déposé une demande de prestations auprès de l'assurance-invalidité. Dès lors, conformément à l'<ref-law>, les indemnités de chômage versées depuis le 1er novembre 1993 doivent être considérées comme des avances de la caisse publique jusqu'à droit connu sur la demande de prestations de l'assurance-invalidité. Ce n'est qu'à la suite de la décision du 8 mars 2000 de l'office de l'assurance-invalidité reconnaissant un taux d'invalidité donnant droit à une rente entière et portant effet rétroactif au 1er novembre 1993 que la caisse publique a demandé la restitution à due concurrence des prestations qu'elle avait avancées.
Les premiers juges ont fait application de l'<ref-law> et considéré que - pour partie - la créance de la caisse publique était périmée en raison de l'écoulement du délai de plus longue durée de cinq ans. Le recourant soutient que durant la procédure devant les organes de l'assurance-invalidité, le délai de cinq ans est interrompu; subsidiairement, il invoque, selon ses termes, l'"exception de surindemnisation" en cas de concours de prestations de deux assurances sociales.
Pour l'essentiel l'intimé se rallie aux considérants des juges cantonaux.
b) aa) Selon l'<ref-law>, première phrase, la caisse est tenue d'exiger du bénéficiaire la restitution des prestations de l'assurance auxquelles il n'avait pas droit. Le droit de répétition se prescrit une année après que l'organe qui a payé a eu connaissance des faits, mais au plus tard cinq ans après le versement de la prestation (<ref-law>, première phrase). Le texte de cette disposition est, quant au fond, analogue à la disposition correspondante de la LAVS si bien que la jurisprudence rendue à propos de l'<ref-law> s'applique par analogie à la restitution d'indemnités indûment touchées dans l'assurance-chômage (cf. <ref-ruling> consid. 1 et les références).
bb) La loi s'interprète en premier lieu selon sa lettre. Toutefois, si le texte n'est pas absolument clair, si plusieurs interprétations de celui-ci sont possibles, il faut alors rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment les travaux préparatoires, le but et l'esprit de la règle, les valeurs sur lesquelles elle repose, ainsi que sa relation avec d'autres dispositions légales (<ref-ruling> consid. 1d, 126 II 80 consid. 6d, 126 III 104 consid. 2c, 126 V 58 consid. 3). Pour rendre la décision répondant de manière optimale au système et au but de la loi, le Tribunal fédéral utilise, de manière pragmatique, une pluralité de méthodes, sans fixer entre elles un ordre de priorité (<ref-ruling> consid. 5a et les arrêts cités). Au besoin, une norme dont le texte est à première vue clair se verra étendre par analogie à une situation qu'elle ne vise pas ou au contraire ne sera pas appliquée à une situation visée par une interprétation téléologique restrictive. Une interprétation de ce type constitue, selon les conceptions actuelles, un acte de création du droit par le juge et non une ingérence inadmissible dans la compétence du législateur (<ref-ruling> consid. 5b, 121 III 224 consid. 1d/aa; Ernst A. Kramer, Teleologische Reduktion - Plädoyer für einen Akt methodentheoretischer Rezeption, in:
Rechtsanwendung in Theorie und Praxis, Symposium zum 70. Geburtstag von Arthur Meier-Hayoz [RDS, supplément 15] p. 65 ss et p. 73 ss).
cc) Si l'on s'attache au texte même de l'<ref-law>, le délai de péremption de cinq ans commence à courir à la date du versement de la prestation. L'<ref-law> - de même que l'<ref-law> - vise typiquement des situations où le caractère indu des prestations existe déjà au moment de leur paiement, que ce soit au moment de leur octroi initial ou - s'agissant de prestations périodiques - à une date ultérieure, à la suite d'un changement de circonstances, comme par exemple le remariage d'une personne au bénéfice d'une rente de veuve ou de veuf (cf. Meyer-Blaser, Die Rückerstattung von Sozialversicherungsleistungen, in : RJB 131/1995, p. 477). Dans de telles situations, le Tribunal fédéral des assurances a toujours interprété de manière littérale la notion de versement, en jugeant par exemple que le délai de péremption de plus longue durée de cinq ans prévu à l'<ref-law> commençait à courir dès le moment où la prestation a été effectivement versée et non pas celui où elle aurait dû être payée selon la loi (<ref-ruling> consid. 4a, 111 V 17 consid. 3 in fine, 108 V 4).
En revanche, quand c'est le paiement de prestations arriérées par une assurance sociale qui justifie la restitution de prestations d'une autre assurance - en application des règles légales de coordination - le caractère indu des prestations sujettes à remboursement n'apparaît qu'après coup. Ainsi, dans le cas présent, aussi longtemps que l'assurance-invalidité n'avait pas pris sa décision, les prestations allouées par l'assurance-chômage n'étaient pas indues, bien au contraire, puisqu'il s'agissait d'avances auxquelles l'assuré avait droit. Jusqu'au moment de la décision de l'assurance-invalidité, la caisse d'assurance-chômage n'avait aucune base juridique pour fonder une décision en restitution. D'un point de vue littéral, l'<ref-law> ne tient pas compte de ce cas de figure particulier.
dd) Les prétentions découlant du droit public sont soumises à prescription ou à péremption afin d'assurer - comme en droit privé - une stabilité juridique et d'empêcher la remise en cause de situations qui ont duré pendant une certaine période (voir Andrea Braconi, Prescription et péremption dans l'assurance sociale, in :
Droit privé et assurances sociales, Fribourg 1990, p. 215).
En interprétant l'<ref-law> selon la méthode téléologique restrictive, il convient de constater que si le législateur a voulu instaurer un délai de péremption absolue de cinq ans, pour mettre - passé ce délai - un point final à un rapport d'obligation entre l'assurance et le débiteur, il n'a assurément pas voulu que ce délai commence à courir à partir d'un quelconque versement de prestations, mais seulement dès l'instant où l'on est en présence d'un paiement opéré à tort et où les conditions d'une restitution sont susceptibles d'être remplies. En ce sens, il y a corrélation nécessaire entre les alinéas 1 et 4 de l'<ref-law>, le point de départ du délai de péremption étant subordonné à la naissance d'une obligation de restituer l'indu. Une application indifférenciée de la notion de versement à tous les cas de restitution, comme le préconisent en fait les premiers juges, est de nature à paralyser de manière inadmissible les objectifs de coordination entre l'assurance-chômage et l'assurance-invalidité.
Elle aurait de surcroît comme conséquence absurde de fixer le point de départ du délai de cinq ans à une date où le paiement n'était pas indu.
Il convient ainsi de limiter la teneur littérale de l'<ref-law> en ce sens que le mot "versement" dont use cette disposition doit être compris comme exigeant le paiement d'une prestation à laquelle le bénéficiaire n'avait pas droit. Par conséquent, lorsque la restitution d'indemnités de chômage est justifiée par l'allocation avec effet rétroactif d'une rente de l'assurance-invalidité, le délai de cinq ans ne peut commencer à courir qu'à partir du moment où il apparaît que ces indemnités sont indues et donc sujettes à restitution, c'est-à-dire au moment de l'entrée en force de la décision de rente.
c) En l'espèce, la décision de l'office de l'assurance-invalidité date du 8 mars 2000. La créance de la caisse publique n'était donc pas - même partiellement - éteinte par la péremption. Partant, la caisse était en droit de compenser sa créance avec des arriérés de rentes et de réclamer directement à l'assuré la restitution du solde non compensable.
S'agissant du montant soumis à restitution, il n'est pas contesté et il n'apparaît du reste pas sujet à discussion; il en va de même en ce qui concerne les modalités de la compensation (voir à ce sujet DTA 1999 no 39 p. 227).
C'est dire, en conclusion, que la compensation pouvait s'opérer sur la totalité du montant de 65 542 fr. 20 et que la caisse était fondée à rendre à l'endroit de l'assuré une décision de restitution pour le solde de sa créance, par 960 fr. 45.
Le recours de droit administratif est dès lors bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 25 janvier 2001
du Tribunal administratif du canton de Fribourg (Cour
des assurances sociales) est annulé.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Fribourg, Cour des assurances sociales, et à la Caisse publique de
chômage du canton de Fribourg.
Lucerne, le 23 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier :