A.- A._ a travaillé au service de la société X._ SA depuis le mois de juillet 1995. A ce titre, il était assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 21 août 1996, alors qu'il était occupé, sur le chantier Y._, à scier une cale de tête de coffrage, il a subi un arrachement intra-articulaire de l'index de la main droite, ainsi qu'une coupure sévère au troisième doigt ensuite d'un arrêt accidentel de sa scie circulaire. A cette occasion, il a été projeté au sol par un retour imprévisible de ladite cale.
Une arthrodèse de l'articulation interphalangienne distale de l'index a été effectuée le même jour à l'Hôpital Z._. L'apparition d'une surinfection grave nécessita toutefois l'amputation de la phalange distale de l'index par les soins du Centre hospitalier de B._.
Dans un rapport du 11 avril 1997, le docteur C._, médecin d'arrondissement de la CNA, a indiqué une évolution lente avec développement d'une contracture irréductible à l'articulation interphalangienne droite. Il proposait l'amputation du reste de la deuxième phalange, opération qui a eu lieu en 1997 à B._ par les soins du docteur D._.
Après avoir été licencié, A._ a été examiné par le docteur E._, médecin d'arrondissement de la CNA et spécialiste en chirurgie (rapport du 23 septembre 1997). Il a ensuite séjourné à la Clinique de réadaptation F._, du 22 octobre au 19 novembre 1997. Les examens ont notamment comporté un consilium psychosomatique confié au docteur G._. Les médecins de la clinique ont fait état d'une capacité de travail de 50 %.
De son côté, A._ a confié une expertise au docteur H._, médecin à I._, dont il a produit un rapport du 15 mai 1998. Ce praticien concluait notamment que les douleurs ressenties au poignet et à l'épaule droits étaient imputables à une fracture métaphysaire du radius droit avec pseudarthrose subie lors de l'accident du 21 août 1996, diagnostiquée tardivement au cours du séjour à F._ (radiographie du 23 octobre 1997). Selon ce médecin, une reprise de l'activité antérieure dans une mesure limitée n'était guère envisageable.
Après avoir requis l'avis du docteur J._, médecin de sa division médicale (rapport du 1er octobre 1998), la CNA a rendu une décision, le 21 avril 1999, par laquelle elle a alloué à l'assuré, pour la période du 1er décembre 1998 au 31 mai 2000, une rente d'invalidité fondée sur une incapacité de gain de 10 %, ainsi qu'une indemnité pour atteinte à l'intégrité fondée sur un taux de 5 %. Elle a considéré que la reprise de l'activité professionnelle habituelle dans le secteur de la construction était exigible durant toute la journée, après une période de rendement réduit de 18 mois; par ailleurs, la rente allouée ne tenait pas compte des douleurs au poignet droit, à l'épaule et à la colonne vertébrale, lesquelles étaient dues à la maladie; quant aux troubles psychogènes apparus progressivement après l'accident, ils n'étaient pas en relation de causalité adéquate avec ce dernier.
Saisie d'une opposition, la CNA l'a rejetée par décision du 21 septembre 1999.
B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel. Après avoir requis de l'Office AI pour les assurés résidant à l'étranger la production du dossier concernant l'assuré prénommé, la juridiction cantonale a rejeté le recours par jugement du 8 août 2000.
C.- Le prénommé interjette recours de droit administratif en concluant, sous suite de dépens, à l'annulation du jugement cantonal et de la décision sur opposition de la CNA.
Cette dernière conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination.

Considérant en droit :
1.- a) Dans son recours de droit administratif, l'assuré se contente de conclure à l'annulation du jugement cantonal du 8 août 2000 et de la décision sur opposition de la CNA du 21 novembre (recte : septembre) 1999. Sur le vu des motifs du recours, il apparaît que le recourant conteste implicitement le taux et le caractère transitoire de la rente d'invalidité.
b) Selon l'art. 104 let. a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation. En vertu de l'art. 104 let. b en liaison avec l'art. 105 al. 2 OJ, le recourant peut aussi faire valoir que l'autorité cantonale de recours a constaté les faits pertinents de manière manifestement inexacte ou incomplète ou qu'elle les a établis au mépris de règles essentielles de procédure.
Cependant, dans la procédure de recours portant sur l'octroi ou le refus de prestations d'assurance (y compris la restitution de celles-ci), le pouvoir d'examen du Tribunal fédéral des assurances est plus étendu. Le tribunal peut alors examiner l'opportunité de la décision attaquée; il n'est en outre pas lié par l'état de fait constaté par la juridiction inférieure. Par ailleurs, le tribunal peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ; <ref-ruling> consid. 1c, 120 V 448 consid. 2a/aa et les références).
2.- Le jugement entrepris expose de manière exacte et complète les dispositions légales et les principes jurisprudentiels applicables au présent cas. Il suffit donc d'y renvoyer.
a) Il convient par ailleurs d'ajouter que l'assureur peut octroyer des rentes temporaires et/ou dégressives (<ref-ruling> ss, 106 V 49 ss consid. 1 et 2b; RAMA 1993 no U 173 p. 146 consid. 2 et les arrêts cités; RSAS 1985 p. 207 consid. 2a). Ces rentes sont accordées si, lors de la fixation de la rente, il était déjà prévisible et vraisemblable que les incidences de l'accident sur la capacité de gain s'atténueraient en tout ou en partie dans un avenir plus ou moins proche par suite de l'adaptation ou de l'accoutumance de l'assuré aux séquelles de l'accident (Jean-Maurice Frésard, L'assurance-accidents obligatoire, in : Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, no 79, p. 38; Peter Omlin, Die Invalidität in der obligatorischen Unfallversicherung, thèse Fribourg, 1995, p. 97 ss; Ghélew/Ramelet/Ritter, Commentaire de la loi sur l'assurance-accidents, 1992, p. 105 sv.). La rente temporaire doit également être prise en compte au cas où les conséquences économiques futures d'une lésion corporelle stable seraient déterminables par avance de façon relativement précise (Doudin, La rente d'invalidité dans l'assurance-accidents, in : RSAS 1990, p. 289).
b) L'assuré auquel l'assureur-accidents a octroyé une rente dégressive et temporaire par décision ayant acquis force de chose décidée conserve le droit d'en contester le caractère temporaire ou dégressif au moment où la suppression ou la réduction envisagée doit prendre effet. Cet examen doit s'opérer soit par l'ouverture d'office d'une procédure en révision, soit par le dépôt d'une demande en révision par l'assuré. La force décidée de la décision initiale n'est pas remise en cause, puisque dans la procédure d'octroi de rente, la seule question qui se pose - et la seule sur laquelle le juge peut se prononcer - est celle de savoir si, en fonction de l'expérience médicale acquise dans des cas similaires, on peut émettre le pronostic que l'état de santé de l'assuré s'améliorera ou que sa capacité de gain augmentera dans un avenir relativement proche. En revanche, dans la procédure de révision, il s'agit de vérifier, au moment où devrait intervenir la suppression ou la réduction de la prestation, si le pronostic qui, à l'origine, a motivé l'octroi de la rente limitée ou dégressive s'est effectivement réalisé (RAMA 1993 no U 173 p. 146 et les arrêts cités).
3.- a) En premier lieu, le recourant reproche à la juridiction cantonale d'avoir nié l'existence, au moment - déterminant en l'occurrence (<ref-ruling> consid. 1b et les arrêts cités) - où la décision sur opposition litigieuse a été rendue, d'une relation de causalité naturelle entre différents troubles d'ordre physique - à savoir des douleurs au poignet et à l'épaule droits, ainsi que des dorsalgies - et l'accident du 21 août 1996.
aa) En ce qui concerne les douleurs au poignet droit, les premiers juges ont considéré que les fractures de l'extrémité inférieure du radius et de la styloïde cubitale - à l'origine de ces douleurs - étaient antérieures à l'accident assuré. Ils se sont fondés pour cela sur l'avis des médecins de la Clinique de réadaptation de F._ (rapport du 5 décembre 1997).
De son côté, le recourant conteste ce point de vue en invoquant l'avis du docteur H._ (rapport du 15 mai 1998). Celui-ci se réfère à un rapport du docteur K._, médecin français du travail, lequel a attesté l'absence de pathologie des membres supérieurs ou du rachis lors des visites obligatoires de médecine du travail durant la période du mois d'avril 1992 au mois de février 1996.
L'appréciation du docteur H._ est toutefois contredite par tous les autres médecins qui ont examiné l'assuré et selon lesquels il n'existait pas de fracture récente au niveau du poignet droit. En particulier, les docteurs C._ (rapport du 11 avril 1997) et E._ (rapport du 23 septembre 1997) ont attesté une mobilité du poignet normale et symétrique. Comme l'indique le docteur J._ (rapport du 1er octobre 1998), ces constatations permettent d'exclure la survenance de toute fracture au poignet droit lors de l'accident assuré.
Il convient donc de se rallier au point de vue des premiers juges, selon lequel l'existence d'une relation de causalité entre les troubles au poignet droit et l'accident n'apparaît pas vraisemblable au degré requis par la jurisprudence (<ref-ruling> consid. 2, 121 V 47 consid. 2a, 208 consid. 6b et la référence).
bb) Pour ce qui est des troubles à l'épaule droite, la juridiction cantonale a nié l'existence de toute pathologie objectivable - en particulier une éventuelle lésion de la coiffe des rotateurs. Le recourant ne conteste pas sérieusement ce point, mais se contente d'alléguer l'existence de douleurs à l'épaule droite, en relation avec l'événement du 21 août 1996. Faute de lésion objectivable, les douleurs alléguées ne peuvent donc pas être mises sur le compte de troubles somatiques, mais de troubles psychiques.
cc) Quant aux dorsalgies, aucun des médecins qui se sont exprimés sur le cas n'a conclu qu'elles sont dues à l'accident assuré et le recourant ne fait valoir aucun argument permettant de mettre en cause ces avis médicaux.
b) Par ailleurs, il faut examiner si, en fonction de l'expérience médicale acquise dans des cas similaires, l'intimée était fondée à émettre le pronostic que l'assuré s'accoutumerait à la perte de l'index droit au niveau de l'interphalangienne - affection pour laquelle il a obtenu une rente temporaire -, au point que cette lésion n'entraînerait plus de perte de gain après le 31 mai 2000.
Dans son rapport du 23 septembre 1997, le docteur E._ a fait état d'un moignon calme, avec une mobilité complète, tout en indiquant une hypersensibilité due toutefois au manque d'endurcissement et d'utilisation du moignon. Cet avis a été confirmé par le docteur J._, selon lequel la perte partielle de l'index droit peut être bien compensée sur le plan fonctionnel, au plus tard deux ans après la dernière opération (du 21 mai 1997).
Il n'y a pas de raison de mettre en cause ces conclusions qui sont dûment motivées et reposent sur une appréciation claire de la situation médicale.
c) Vu ce qui précède, force est de considérer que le recourant ne subissait plus, après le 31 mai 2000, une incapacité de gain due à des troubles somatiques en relation avec l'accident du 21 août 1996.
4.- Cela étant, il n'en demeure pas moins que le prénommé présente encore des troubles de nature psychique décrits comme un état de déprime et d'anxiété (rapport du docteur E._ du 23 septembre 1997), des troubles douloureux somatoformes persistants (rapports des médecins de la Clinique F._ du 5 décembre 1997 et du docteur L._, médecin-chef au service psychosomatique de la Clinique M._, du 12 avril 2000), ou encore une surcharge psychogène (rapport du docteur J._ du 1er octobre 1998).
Comme l'a justement constaté la juridiction cantonale, dont le point de vue n'est pas remis en cause par le recourant, l'événement du 21 août 1996 doit être classé dans la catégorie des accidents de gravité moyenne. Par ailleurs, l'analyse des critères objectifs posés par la jurisprudence en matière de troubles psychiques consécutifs à un accident (cf. <ref-ruling> ss consid. 6 et 407 ss consid. 5) ne permet pas de conclure, en l'espèce, à l'existence d'une relation de causalité adéquate entre cet événement et les troubles psychiques constatés. En particulier, les circonstances dans lesquelles s'est déroulé l'accident apparaissent dénuées du caractère particulièrement dramatique ou impressionnant requis par la jurisprudence. Par ailleurs, force est de nier l'existence de difficultés apparues au cours de la guérison et d'une longue période d'incapacité de travail due aux lésions physiques, dès lors que les troubles psychiques ont eu assez tôt - comme le reconnaît d'ailleurs le recourant - une influence déterminante sur les plaintes de l'intéressé.
5.- Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au
Tribunal administratif du canton de Neuchâtel et à
l'Office fédéral des assurances sociales.
Lucerne, le 20 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :