A.- a) F._, né le 16 septembre 1960, a travaillé en qualité de maçon. Engagé à ce titre dès le 25 avril 1994 par l'entreprise de maçonnerie et génie civil R._ SA, à C._ et A._, il a présenté à plusieurs reprises une incapacité totale ou partielle de travail, avant d'interrompre de manière durable son activité à partir du 27 octobre 1997. Son assureur-maladie, la CMBB, a confié une expertise au docteur B._, spécialiste FMH en médecine interne & rhumatologie à N._.
Dans un rapport du 3 juillet 1998, l'expert a posé le diagnostic de lombalgies chroniques persistantes chez un assuré présentant une protrusion discale paramédiane droite en L5-S1, sans syndrome vertébral ni radiculaire irritatif objectifs. Il concluait à une capacité totale de travail dans la profession de maçon dès le 6 juillet 1998.
A la suite de la survenance d'une capsulite rétractile au niveau du membre supérieur gauche (épaule gelée), le docteur B._ a modifié ses conclusions en ce sens que F._ n'était plus capable de poursuivre son activité dans la construction. Il n'y avait par contre aucune contre-indication à la poursuite d'une activité professionnelle plus légère, par exemple en position debout ou assise, n'entraînant pas l'élévation des bras au-dessus de l'horizontale (expertise complémentaire du 22 octobre 1998).
b) Le 13 novembre 1998, F._ a présenté une demande de prestations de l'assurance-invalidité.
Dans un rapport médical du 15 janvier 1999, le docteur L._ a avisé l'Office de l'assurance-invalidité du canton de Neuchâtel qu'il fallait envisager un recyclage professionnel, attendu que le métier de maçon ne pouvait pas être poursuivi.
L'office, sur proposition de son médecin, a confié une expertise au docteur B._. Dans un rapport du 1er juin 1999, ce praticien a diagnostiqué des troubles somatoformes douloureux persistants chez un assuré ne présentant pas d'affection psychopathologique ou de troubles de la personnalité ayant valeur de maladie. Il indiquait que la capacité de travail dans la profession antérieure de maçon était entière, qu'une reconversion professionnelle ou assistance à la recherche d'emploi n'était pas nécessaire, mais qu'un reconditionnement physique apparaissait utile avant la reprise du travail à 100 %.
Le 29 juin 1999, l'office a rendu un prononcé dans lequel il constatait que F._ n'était ni invalide, ni menacé d'une invalidité imminente. Il l'informait qu'il n'avait pas droit à des prestations de l'assurance-invalidité.
L'assuré a séjourné du 27 juillet au 2 septembre 1999 à l'Hôpital P._, à N._, et du 2 au 11 sep- tembre 1999 à l'Hôpital de zone de M._. Le 22 sep- tembre 1999, les médecins de l'Institut de radiologie de N._ ont procédé à une imagerie par résonance magnétique cérébrale et médullaire. Le 27 octobre 1999, F._ a été examiné par les médecins du Service de neurologie du Centre X._, à L._.
Par décision du 21 décembre 1999, l'office a rejeté la demande, au motif que l'assuré présentait une capacité de travail entière dans sa profession habituelle, aussi bien sur le plan physique que psychique et mental.
B.- a) F._ a recouru contre cette décision devant le Tribunal administratif de la République et canton de Neuchâtel. Il produisait copie de plusieurs documents, dont une communication du 14 janvier 2000 de son médecin traitant dans laquelle le docteur L._, spécialiste FMH en chirurgie et orthopédie à N._, attestait une aggravation rapide de son état de santé depuis le mois de juillet 1999 et la nécessité d'un examen neuro-psychiatrique approfondi. Du 14 mars au 17 mai 2000, il a été examiné à trois reprises par le docteur R._, médecin du Centre Y._ de N._.
b) L'office a avisé la juridiction cantonale qu'il désirait procéder à un complément d'instruction sous la forme d'une expertise. Le 29 mars 2000, le président du Tribunal administratif a ordonné pour cette raison la suspension de la procédure de recours.
Dans une expertise du 8 août 2000, le docteur S._, spécialiste FMH en psychiatrie-psychothérapie à Y._, a conclu à un "trouble factice" excluant toute maladie, souffrance, trouble ou pathologie.
c) Sur la base du rapport précité du docteur S._, l'office a conclu au rejet du recours.
Dans ses déterminations du 29 novembre 2000, F._ a nié toute manipulation de sa part. Il se référait aux avis des médecins du Centre Y._ de N._ des 18 août 1999 et 24 novembre 2000, qui excluent l'existence d'une simulation des symptômes.
Par jugement du 5 février 2001, la juridiction cantonale a rejeté le recours.
C.- F._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci. Il invite le Tribunal fédéral des assurances à statuer au fond, en condamnant l'office à lui allouer une rente entière d'invalidité. A titre subsidiaire, il requiert une contre-expertise, qui pourrait être confiée au professeur D._ à la Polyclinique de L._. Il produit une lettre du 9 mars 2001 du docteur G._, médecin responsable du Centre de soins palliatifs L._, àC._.
L'0ffice de l'assurance-invalidité du canton de Neuchâtel conclut au rejet du recours.

Considérant en droit :
1.- a) Le recourant invoque le grief de prévention à l'égard du docteur E._, médecin de l'intimé.
b) Le fait que le médecin soit lié à l'institution d'assurance par des relations de service ne constitue pas à lui seul un motif suffisant pour conclure au manque d'objectivité et à la partialité de celui-ci. La méfiance à l'égard du médecin doit au contraire apparaître comme fondée sur des éléments objectifs (<ref-ruling> sv. consid. 3b/ee, 123 V 176 consid. 3d et la référence; VSI 2001 p. 109 sv. consid. 3b/ee).
c) Le docteur E._ est lié à l'office AI par un rapport de service. Le recourant met en doute les intentions de ce médecin, qui proposait de confier un complément d'expertise au docteur B._, alors qu'il devait s'attendre à ce que ce spécialiste, qu'il connaît bien, prenne des conclusions qui lui soient défavorables.
Ce grief n'est pas fondé sur des éléments objectifs.
En effet, la prise de position litigieuse du docteur E._, du 22 mars 1999, ne permet pas de déduire cette prévention. Bien au contraire, puisque ce médecin a estimé que la documentation médicale contenait des éléments encore contradictoires, raison pour laquelle un complément d'expertise lui paraissait nécessaire. Or, la tâche assignée par l'intimé au docteur B._ a consisté dans une expertise médicale, comportant un questionnaire sur sept points.
d) Devant la Cour de céans, le recourant reprend le grief de prévention à l'égard du docteur B._.
e) Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité.
Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter. C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert. L'appréciation de ces circonstances ne peut pas reposer sur les seules impressions de l'expertisé. La méfiance à l'égard de l'expert doit au contraire apparaître comme fondée sur des éléments objectifs (RAMA 1999 n° U 332 p. 193 consid. 2a/bb et les références).
f) Le docteur B._ est un spécialiste en médecine interne & rhumatologie indépendant, établi à N._.
Il n'apparaît pas comme prévenu du fait qu'il a pris vis-à-vis du recourant des conclusions dites défavorables dans l'expertise du 3 juillet 1998 et dans celle complémentaire du 22 octobre 1998 (VSI 1997 p. 137 sv. consid. 1b/bb). Il est donc objectivement indépendant des parties en cause.
En réalité, le recourant vise l'impartialité subjective de l'expert, qu'il dénie au docteur B._. Comme cette impartialité se présume jusqu'à preuve du contraire (Auer/Malinverni/Hottelier, Droit constitutionnel suisse, vol. II Les droits fondamentaux, p. 579, ch. m. 1205 et la note n° 260), il ne suffisait pas au recourant d'alléguer une prétendue partialité mais il lui incombait d'en établir la preuve contraire.
Or, le fait que le recourant soutient que le résumé anamnestique contenu dans le rapport de ce médecin du 1er juin 1999 fait très largement état de la première expertise (du 3 juillet 1998) dans laquelle celui-ci est arrivé à la conclusion que "la capacité de travail de cet homme s'élevait à 100 % dans sa profession de maçon dès le 6 juillet 1998", passage qui figure en gras dans son rapport, ne permet pas de fonder cette prévention. En effet, au regard du déroulement de l'expertise du 1er juin 1999 et de son contenu, il n'y a pas lieu de mettre en doute l'impartialité subjective du docteur B._ au seul motif que son avis ne va pas dans le sens souhaité par le recourant.
Cela vaut également en ce qui concerne le fait allégué que l'expert, dans son rapport du 1er juin 1999, a voulu évacuer un élément de l'expertise complémentaire du 22 octobre 1998 qui était en faveur de l'assuré, dans le but d'appuyer sa conclusion attestant une capacité totale de travail en qualité de travailleur de force. Sur ce point, également, l'impartialité subjective de ce médecin ne saurait être mise en doute, la question de l'épaule gauche ayant fait l'objet d'un examen sérieux (radiographies du 28 mai 1999) et d'une discussion approfondie sous la rubrique consacrée à l'appréciation médicale, où l'expert mentionne du reste qu'il avait demandé le 22 octobre 1998 "que soient appliqués les correctifs assécurologiques nécessaires".
2.- Se fondant sur les rapports d'expertise du docteur B._ du 1er juin 1999 et du docteur S._ du 8 août 2000, les premiers juges ont retenu que le recourant, sur le plan physique et psychique ou mental, ne présente pas une atteinte à la santé invalidante susceptible d'ouvrir le droit aux prestations de l'assurance-invalidité.
Le litige porte sur l'évaluation de sa santé psychique.
a) Le recourant allègue qu'il existe au dossier nombre d'éléments permettant d'exclure toute simulation de sa part et que les conclusions du docteur S._ sont sans pertinence, ce médecin ayant accordé beaucoup trop d'importance aux déclarations que son épouse a faites sous le coup de la colère et dans le but de se venger de son mari, sur lesquelles celle-ci est pourtant revenue. Il reproche à l'expert de n'avoir pas tenu compte des rétractations de sa femme et à la juridiction cantonale de n'avoir retenu que les conclusions de ce spécialiste.
b) Le juge des assurances sociales doit examiner de manière objective tous les moyens de preuve, quelle qu'en soit la provenance, puis décider si les documents à disposition permettent de porter un jugement valable sur le droit litigieux. Si les rapports médicaux sont contradictoires, il ne peut liquider l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale et non pas sur une autre. C'est ainsi qu'il importe, pour conférer pleine valeur probante à un rapport médical, que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées.
Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a et les références).
Ces principes, développés à propos de l'assurance-accidents, sont applicables à l'instruction des faits d'ordre médical dans toutes les branches d'assurance sociale (Spira, La preuve en droit des assurances sociales, in Mélanges en l'honneur de Henri-Robert Schüpbach, Bâle 2000, p. 268).
c) Selon les premiers juges, la prise de position du Centre Y._ de N._ n'est pas convaincante.
D'une part, elle n'est pas fondée sur un examen complet du dossier médical et ne fait pas état d'investigations très approfondies. D'autre part, on y trouve des appréciations formulées de manière très prudente, évoquant des tests psychologiques qui n'ont en définitive pas été effectués.
Enfin, ils ont relevé que la situation personnelle et familiale de l'assuré n'avait pas été établie de manière correcte : alors que l'intéressé entretient depuis plusieurs années une liaison extraconjugale, ce qui a eu une influence déterminante selon l'expert S._ sur l'aspect psychique du cas, le centre Y._ indique simplement dans le rapport du 18 août 1999 qu'il n'y a "pas de conflit conjugal, pas de souci relatif à la famille restée au pays" et, dans le rapport du 24 mai 2000, il est indiqué seulement que, "au niveau relationnel, M. F. partage la vie d'une femme qui, malgré de nombreuses années passées en Suisse, ne parle toujours pas le français, témoin d'un manque d'adaptation patent dû probablement à un manque de ressources important".
Pour ces raisons, la juridiction cantonale considère que l'avis des médecins du centre Y._ n'est pas apte à remettre en cause les conclusions du docteur S._.
d) Les diagnostics des médecins du centre Y._, qui excluent expressément l'existence d'une simulation des symptômes, et de l'expert laissent subsister des divergences, spécialement quant aux conséquences sur la capacité de travail du recourant.
Certes, l'avis du docteur S._ remplit pour l'essentiel les conditions posées par la jurisprudence sur le caractère probant d'une expertise. Il n'en demeure pas moins qu'il manque une détermination de sa part sur les rapports des médecins du centre Y._ comme il subsiste une divergence au sujet des troubles somatoformes douloureux, au point que le juge n'est pas véritablement en mesure de trancher entre les opinions de ces spécialistes.
Dès lors il se justifie de renvoyer la cause à l'office intimé pour qu'il procède à une instruction complémentaire sur le point de savoir si l'existence d'une simulation des symptômes ou d'un trouble factice doit être exclue, et, si et dans quelle mesure, au moment déterminant, le recourant subissait une diminution de sa capacité de travail en raison de problèmes d'ordre psychique. Dans ce dernier cas, et si le diagnostic de troubles somatoformes douloureux venait à être confirmé, leur caractère éventuellement invalidant devrait être examiné à la lumière des critères développés dans l'arrêt K. du 19 janvier 2000 (VSI 2000 p. 154).
3.- Sur le vu de l'issue du litige, le recourant, représenté par un avocat, a droit à une indemnité de dépens pour les instances fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ) et cantonale (art. 85 al. 2 let. f LAVS en liaison avec l'<ref-law>).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement du
Tribunal administratif de la République et canton de
Neuchâtel, du 5 février 2001, et la décision du 21 décembre
1999 de l'Office de l'assurance-invalidité du
canton de Neuchâtel sont annulés, la cause étant renvoyée
à l'intimé pour complément d'instruction au sens
des considérants et nouvelle décision.
II. Il n'est pas perçu de frais de justice.
III. L'intimé versera au recourant la somme de 2500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
IV. Le Tribunal administratif de la République et canton de Neuchâtel statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès
de dernière instance.
V. Le présent arrêt sera communiqué aux parties, au Tribunal
administratif de la République et canton de
Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 16 janvier 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :