A.- A._ a été victime d'un accident de ski, le 1er avril 1974, alors qu'il payait ses galons de caporal.
Il a subi de multiples fractures à la cheville gauche.
Après avoir procédé à une opération correctrice en avril 1985, le docteur B._, spécialiste en chirurgie orthopédique et médecin traitant, a mentionné onze ans plus tard l'apparition de lombalgies consécutives à l'atteinte à la cheville (23 octobre 1996).
Par décisions datées respectivement des 27 novembre 1998 et 9 avril 1999, l'Office fédéral de l'assurance militaire (OFAM) lui a alloué une rente pour atteinte à l'intégrité de 2,5 % pour les seules séquelles de la cheville gauche (à partir du 1er janvier 1997), mais a nié l'existence d'un lien de causalité entre cette atteinte et les lombalgies diagnostiquées en 1996 seulement.
Saisi de deux oppositions de l'assuré, l'OFAM les a rejetées par décision du 12 août 1999.
B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Fribourg, en concluant à la mise en oeuvre d'une expertise médicale indépendante de l'administration militaire et à l'octroi d'une rente pour atteinte à l'intégrité de 5 %, dès le 1er septembre 1985.
Dans le cadre de sa réponse au recours, l'OFAM a considéré, à titre principal, que les conditions du droit à la rente pour atteinte à l'intégrité n'étaient en réalité pas remplies. A titre subsidiaire, il a déclaré que le taux de 2,5 % correspondait aux circonstances et était conforme à la jurisprudence, le point de départ de la rente devant être fixé au 1er décembre 1997.
Par jugement du 10 mai 2001, le Tribunal administratif a rejeté le recours et réformé la décision sur opposition en ce sens qu'aucune rente pour atteinte à l'intégrité n'était allouée à l'assuré.
C.- A._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause au Tribunal administratif, pour qu'il lui accorde, sous suite de dépens, le droit d'être entendu et l'occasion de retirer son recours.

L'OFAM conclut à ce que la cour de céans déclare irrecevable le recours de l'assuré, dans la mesure où il conclut à l'entière annulation du jugement cantonal. Il fait valoir en particulier que A._ n'a recouru ni contre le refus d'admettre un lien de causalité entre les lombalgies et l'affection de la cheville gauche, ni contre la date retenue à titre de stabilisation de son état de santé et que, n'étant plus litigieuses, ces questions sont entrées en force de chose jugée. En revanche, il admet que les premiers juges ont violé le droit d'être entendu de l'assuré en ne le rendant pas attentif à la possibilité de retirer son recours et propose dès lors l'admission partielle du recours, dans ce sens. Par ailleurs, l'OFAM considère que les dépens ne devraient pas être mis à sa charge, dès lors que le vice de procédure invoqué n'a pas été provoqué par son comportement.
Considérant en droit :
1.- a) Le litige porte sur le point de savoir si les premiers juges ont violé le droit d'être entendu du recourant.
b) Le droit d'être entendu - qui comprend notamment le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision (<ref-ruling> consid. 2a/aa et les références) - est une garantie constitutionnelle de caractère formel (art. 29 al. 2 Cst.), dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 2b).
2.- a) Le recourant fait grief à la cour cantonale de ne l'avoir pas rendu attentif à son intention de procéder à une reformatio in pejus de la décision sur opposition contre laquelle il avait recouru et de ne pas lui avoir donné la possibilité de retirer son recours.
b) Selon l'art. 106 al. 2 let. d LAM, le tribunal n'est pas lié par les conclusions des parties. Il peut réformer la décision attaquée au détriment du recourant ou accorder à celui-ci plus qu'il n'avait demandé; il doit cependant donner aux parties l'occasion de se prononcer au préalable. Selon la jurisprudence, la partie invitée à s'exprimer sur l'éventualité d'une réforme à son détriment de la décision entreprise doit être expressément rendue attentive à la possibilité de retirer son recours (<ref-ruling> consid. 2a).
L'<ref-law> impose aux cantons des exigences procédurales minimales, afin de garantir l'application correcte et uniforme du droit matériel fédéral (Jürg Maeschi, Kommentar zum Bundesgesetz über die Militärversicherung (MVG) vom 19. Juni 1992, Berne, 2000, N.4 ad art. 106, p. 640). Dans ce contexte, les cantons ont une compétence législative subsidiaire pour ce qui est des points non réglementés par le droit fédéral (Maeschi, ibidem). Par ailleurs, les cantons sont également tenus de respecter les principes découlant de l'art. 29 al. 2 Cst.
et de l'art. 6 CEDH (Maeschi, op. cit. N.5 ad <ref-law>). A cet égard, l'art. 96 al. 2 du Code de procédure et de juridiction administrative du canton de Fribourg du 23 mai 1991 (RSF vol. 1.3 ch. 150. 1; CPJA) prévoit que lorsque l'autorité envisage de modifier une (la) décision au détriment d'une partie, elle doit l'en informer préalablement, lui indiquer les raisons qui peuvent justifier une aggravation et lui impartir un délai pour s'exprimer.
c) En l'espèce, il est constant que les premiers juges n'ont pas rendu le recourant attentif à leur intention de modifier la décision administrative litigieuse à son détriment et ne lui ont pas donné la possibilité de retirer son recours. Ce faisant, ils ont violé aussi bien les art. 106 al. 2 let. d LAM et 96 al. 2 CPJA que les exigences découlant de l'art. 29 al. 2 Cst. au sujet du droit d'être entendu du recourant. Cela conduit à l'annulation du jugement attaqué sans autre examen (consid. 1b supra) et au renvoi de la cause à la juridiction cantonale pour qu'elle donne au recourant l'occasion de se prononcer sur l'éventualité d'une reformatio in pejus de la décision sur opposition du 12 août 1999 et la possibilité de retirer son recours sans frais puis, s'il y a lieu, statue à nouveau.
3.- S'agissant d'un litige qui, sur le fond, porte sur des prestations d'assurance, la procédure est gratuite (art. 134 OJ a contrario).
Si le canton n'est pas partie au procès, il n'y a pas lieu, en principe, de mettre à sa charge une indemnité de dépens. Toutefois, conformément à l'art. 159 al. 5 en corrélation avec l'art. 156 al. 6 OJ, il se justifie de déroger à ce principe lorsque le jugement cantonal viole de manière qualifiée les règles d'application de la justice et cause de ce fait des frais aux parties (RAMA 1999 no U 331 p. 128 consid. 4; arrêt W. du 7 avril 1998, consid. 5a et b non reproduit aux <ref-ruling>). En l'espèce, cette condition est remplie, de sorte qu'il se justifie de mettre l'indemnité de dépens due au recourant à la charge non pas de l'office intimé, mais de l'Etat de Fribourg.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 10 mai 2001 du
Tribunal administratif du canton de Fribourg est
annulé. La cause est renvoyée à ce tribunal, pour
qu'il procède conformément aux considérants.
II. Il n'est pas perçu de frais de justice.
III. L'Etat de Fribourg versera au recourant une indemnité de dépens (y compris la taxe à la valeur ajoutée) de 1500 fr.
IV. Le présent arrêt sera communiqué aux parties et au Tribunal administratif du canton de Fribourg, Cour des assurances sociales.
Lucerne, le 20 septembre 2001
Au nom du
Tribunal fédéral des assurances
Le juge présidant la IIIe Chambre :
La Greffière :