A.- Lors de son école de recrues effectuée en 1976, A._ a ressenti des douleurs à l'épaule droite après avoir effectué des travaux de terrassement. Les médecins consultés ont fait état d'une paralysie partielle du muscle grand dentelé droit. Dans un rapport du 20 septembre 1979, le docteur B._, médecin de division de l'Office fédéral de l'assurance militaire (OFAM), a indiqué que cette lésion ne justifiait pas l'octroi d'une rente.
Au début de l'année 1983, A._ a demandé à l'OFAM de prendre en charge les suites de ses troubles.
Après avoir confié une expertise au professeur C._, médecin au service de neurologie du Centre X._ (rapport du 25 mai 1983), l'OFAM a notifié à l'assuré, par lettre du 13 juin 1983, qu'il lui déniait l'octroi d'une rente.
Au mois de mai 1993, A._ a annoncé "une rechute des événements survenus en 1976". Par lettre du 7 juin suivant, l'OFAM l'a reconnu comme assuré militaire pour l'affection de l'épaule droite.
Par décision du 13 décembre 1996, l'OFAM lui a accordé, à partir du 11 juillet 1995 et pour une durée indéterminée, une rente pour atteinte à l'intégrité fondée sur un degré d'atteinte à l'intégrité de 7,5 %. Saisi d'une opposition de l'assuré qui concluait à l'octroi d'une telle rente à partir d'une date antérieure au 11 juillet 1995, l'OFAM a fixé la naissance de cette prestation au 1er mars 1993 (décision du 12 juin 1997).
A._ a recouru contre cette décision devant le Tribunal cantonal valaisan des assurances, en concluant à l'octroi d'une rente depuis le 25 mai 1983. Par jugement du 30 mars 1998, la juridiction cantonale a déclaré le recours irrecevable, motif pris que le litige ne portait pas sur le refus de rente notifié le 13 juin 1983, mais sur les conséquences de l'aggravation de l'atteinte annoncée en 1993. Ce jugement n'a pas été attaqué.
B.- Le 15 mai 1998, A._ a présenté à l'OFAM une demande de révision ou de reconsidération de la décision de refus de rente du 13 juin 1983, en faisant valoir que les troubles ressentis en 1983 justifiaient l'octroi d'une rente dès cette époque. L'OFAM a rejeté cette requête par décision du 14 octobre 1998. Saisi d'une opposition, il l'a rejetée par décision du 21 avril 1999.
C.- Par jugement du 16 janvier 2001, le Tribunal cantonal valaisan des assurances a rejeté le recours de A._ contre cette décision.
D.- Le prénommé interjette recours de droit administratif contre ce jugement, dont il demande l'annulation, en concluant, sous suite de dépens, à l'octroi d'une rente à partir du 25 mai 1983, subsidiairement à la mise en oeuvre d'une expertise médicale.
L'OFAM conclut au rejet du recours.

Considérant en droit :
1.- La décision litigieuse n'a pas pour objet l'octroi ou le refus de prestations d'assurance mais concerne la révocation par voie de révision ou de reconsidération d'une décision entrée en force. Aussi, le Tribunal fédéral des assurances doit-il se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- a) Selon la jurisprudence, les nouvelles dispositions de procédure sont applicables, sauf dispositions transitoires contraires, à tous les cas en cours, dès l'entrée en vigueur du nouveau droit (<ref-ruling> consid. 6b et la référence). Parmi les dispositions transitoires de la loi fédérale sur l'assurance militaire du 19 juin 1992 (LAM) - entrée en vigueur le 1er janvier 1994 -, seul l'art. 117 règle une question de procédure.
Cet article dispose que le recours contre les décisions de l'assurance militaire, dont le délai court au moment de l'entrée en vigueur de la présente loi, est régi par l'ancien droit quant au délai et à la compétence. Dans la mesure où cette disposition transitoire ne concerne pas la révocation d'une décision entrée en force, c'est donc le nouveau droit qui s'applique, contrairement au point de vue des premiers juges. Cela n'a toutefois pas d'incidence sur l'issue du présent litige, du moment que les art. 101 et 103 LAM - qui règlent la révision et la reconsidération de décisions entrées en force - reprennent les principes généraux du droit des assurances sociales déjà valables avant l'entrée en vigueur du nouveau droit (Maeschi, Kommentar zum Bundesgesetz über die Militärversicherung [MVG], n. 1 ad art. 101).
b) Selon l'<ref-law>, les décisions et les décisions sur opposition de l'assurance militaire formellement passées en force sont, d'office ou sur demande, modifiées ou annulées lorsque sont découverts des faits ou des moyens de preuve nouveaux et décisifs qu'il n'avait pas été possible de faire valoir ou de produire avant que la décision ne soit prononcée ou par la voie d'un recours.
Quant à l'<ref-law>, il dispose que l'assurance militaire peut modifier ou annuler d'office ou sur demande une décision ou une décision sur opposition formellement passées en force, à condition qu'elles soient sans nul doute erronées et que leur rectification revête une importance notable.
3.- L'écriture par laquelle l'OFAM a refusé l'octroi d'une rente à l'assuré le 13 juin 1983 était une simple lettre non munie de l'indication des voies de droit. Bien que cette lettre n'en remplît pas les conditions formelles, son contenu était celui d'une décision. Certes, l'omission d'indiquer les voies de droit ne doit pas porter préjudice au justiciable (<ref-ruling> consid. 2c et les arrêts cités). Toutefois, faute d'avoir été attaquée dans un délai raisonnable (<ref-ruling> consid. 2 et les références), la décision du 13 juin 1983 est entrée en force.
4.- La juridiction cantonale a nié le caractère sans nul doute erroné de cette décision, motif pris que celle-ci avait été rendue en conformité avec l'<ref-law> - dans sa teneur en vigueur au moment où cette décision a été rendue - selon lequel seule une atteinte notable à l'intégrité ouvre droit à une rente.
Le recourant conteste ce point de vue en faisant valoir que l'atteinte aurait déjà dû être qualifiée de notable en 1983. Ses allégations ne sont toutefois pas de nature à emporter la conviction. En particulier, les nombreux renseignements médicaux recueillis par l'OFAM à l'époque de la décision du 13 juin 1983 ne permettent pas de conclure à l'existence d'une limitation dans l'exercice des fonctions primaires de la vie, telle que l'exigeait la jurisprudence, pour que l'on admît le caractère notable de l'atteinte (<ref-ruling> consid. 3a/bb, 108 V 91 consid. 1a, 96 V 112 consid. 2c). Quant à l'argument selon lequel le caractère notable de l'atteinte a été nié parce que les connaissances médicales de l'époque étaient moins avancées qu'actuellement, il tombe à faux, dès lors que la notion de limitation dans l'exercice des fonctions primaires de la vie ne dépend pas du niveau des conséquences médicales à un moment donné.
Cela étant, les motifs du recourant tendant à la reconsidération de la décision du 13 juin 1983 sont mal fondés, les allégations de l'intéressé ne démontrant pas, à satisfaction de droit, le caractère sans nul doute erroné de ladite décision.
5.- Par ailleurs, la juridiction cantonale a nié l'existence de faits nouveaux susceptibles de conduire à une appréciation juridique différente et d'obliger ainsi l'office intimé à réviser la décision précitée.
Le recourant ne remet pas sérieusement en cause cette constatation. On ne saurait en tout cas se rallier à son point de vue selon lequel l'avis du docteur D._ (rapport du 28 août 1996), exprimé bien après la décision du 13 juin 1983, constitue un fait nouveau de nature à justifier la révision de cet acte administratif. Cet avis médical représente seulement une appréciation différente de faits déjà connus au moment du prononcé de ladite décision.
Cela étant, les conditions d'une révision de la décision susmentionnée n'étaient pas réalisées.
6.- Vu ce qui précède, le jugement entrepris n'est pas critiquable et les conclusions principale et subsidiaire du recourant se révèlent mal fondées.
7.- Etant donné la nature du litige, des frais de justice doivent être mis à la charge du recourant qui succombe (art. 134 OJ a contrario; art. 156 al. 1 en relation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
III. Le présent arrêt sera communiqué aux parties et au Tribunal cantonal valaisan des assurances.
Lucerne, le 9 octobre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :