A.- B._, né en 1943, a travaillé comme contremaître dans une entreprise de construction jusqu'à son licenciement au mois de juillet 1998. En raison de diverses affections (aux épaules, à la colonne cervicale et lombaire, ainsi qu'aux genoux), il a présenté un degré d'invalidité de 60 %, ce qui lui a valu d'être mis au bénéfice, dès le 1er août 1996, d'une rente de 60 % de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) et d'une demi-rente de l'assurance-invalidité. Sa demande de révision (à la hausse) de la rente de l'assureur-accidents a été rejetée par décision sur opposition du 18 février 1998. Cette décision n'a pas fait l'objet d'un recours.
Le 2 juillet 1998, B._ a déposé une nouvelle demande de prestations de l'assurance-invalidité.
Dans un rapport du 1er octobre 1998, le docteur R._, médecin traitant, a attesté d'une aggravation de l'état de santé de son patient le considérant désormais comme totalement inapte à exercer une activité de contremaître; il a suggéré un reclassement et, à défaut, l'octroi d'une rente. Son avis était étayé par la production d'une expertise privée réalisée par le docteur M._, chirurgien orthopédiste (rapport du 16 juin 1998). Sur mandat de l'Office AI pour le canton de Neuchâtel (ci-après :
l'OAI), l'assuré a été examiné par le docteur L._, médecin-chef du service de rhumatologie et de médecine physique de l'Hôpital de X._, lequel a conclu à une capacité de travail inchangée de 60 % dans la profession de contremaître (rapport du 24 mars 1999).
Par décision du 5 mai 1999, l'OAI a dès lors maintenu le droit de l'assuré à une demi-rente.
Saisi d'un recours, le Tribunal administratif du canton de Neuchâtel a, par jugement du 4 novembre 1999, annulé la décision de l'OAI et renvoyé la cause à l'administration pour qu'elle ordonne une nouvelle expertise médicale. Celle-ci a été confiée au docteur P._ de la Clinique de réadaptation à S._, qui s'est adjoint les services du docteur F._, psychiatre. Le rapport d'expertise a été déposé le 14 avril 2000.
Se fondant sur cette pièce, l'OAI a rendu, le 9 août 2000, une nouvelle décision par laquelle il a rejeté la demande de révision de l'assuré.
B.- Par jugement du 28 novembre 2001, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé contre la décision du 9 août 2000 par B._.
C.- Le prénommé interjette recours de droit administratif contre ce jugement dont il demande l'annulation.
Sous suite de dépens, il conclut principalement à l'octroi d'une rente AI entière à compter du 1er juillet 1998, et, subsidiairement, au renvoi de la cause à la juridiction cantonale ou à l'administration pour nouvelle décision.
L'OAI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Comme en instance cantonale, le recourant reprend dans un premier moyen le grief de prévention à l'égard des docteurs P._ et F._ qui ont établi le rapport d'expertise du 14 avril 2000 sur lequel l'office intimé s'est fondé pour rendre sa décision du 9 août 2000. Il soutient que l'indépendance des experts fait objectivement défaut en raison de leur relation avec la CNA, laquelle est indubitablement intéressée à l'issue du litige.
2.- a) D'après la jurisprudence rendue en matière de récusation d'un juge, - développée à propos de l'art. 58 aCst. , mais qui reste pleinement valable sous l'empire de l'art. 30 Cst. (consid. 1a non publié de l'arrêt <ref-ruling>, SVR 2001 BVG 7 p. 28) -, le motif de récusation doit être invoqué dès que possible, soit en principe dès le début des débats, mais au plus tard dès que le plaideur a connaissance de l'identité des membres composant l'autorité, à défaut de quoi il est réputé avoir tacitement renoncé à s'en prévaloir (<ref-ruling> sv. et les arrêts cités; Egli/Kurz, La garantie du juge indépendant et impartial dans la jurisprudence récente, Recueil de jurisprudence neuchâteloise [RJN] 1990 p. 28 sv.). En particulier, il est contraire à la bonne foi d'attendre l'issue d'une procédure pour tirer ensuite argument, à l'occasion d'un recours, du motif de récusation, alors que celui-ci était déjà connu auparavant. Ces principes sont applicables par analogie à la récusation d'experts judiciaires (<ref-ruling> consid. 3a), ainsi qu'aux cas d'expertises ordonnées par l'administration (cf. VSI 2001 p. 111 consid. 4a/aa; voir aussi Meyer-Blaser, Rechtliche Vorgaben an die medizinische Begutachtung, in : Schaffhauser/Schlauri, Rechtsfragen der medizinischen Begutachtung in der Sozialversicherung, St-Gall 1997, p. 45 sv.).
b) Les docteurs P._ et F._ exercent tous deux leur activité à la Clinique romande de réhabilitation à S._; le premier, comme rhumatologue, le second, comme psychiatre. Par lettre du 29 février 2000 et avis du même jour au mandataire de l'assuré, le docteur P._ a été chargé de procéder à une expertise pour laquelle il a considéré comme nécessaire de faire appel à un psychiatre, procédé qui n'est, à juste titre, pas contesté en l'espèce.
Dès lors que la Clinique romande de réhabilitation à S._ dépend notoirement de la CNA - ce qui ressort par exemple de la signalisation posée à l'entrée et dans le bâtiment de la clinique où l'assuré s'est rendu pour l'expertise -, on peut se demander si le moyen soulevé pour la première fois en procédure cantonale ne l'a pas déjà été tardivement (cf. dans ce sens l'arrêt non publié L. du 23 mai 2002, I 724/01). Cette question peut toutefois demeurer ouverte dès lors que pour les motifs qui suivent le grief doit être écarté.
3.- a) Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité. Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter.
C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert.
L'appréciation des circonstances ne peut pas reposer sur les seules impressions de l'expertisé, la méfiance à l'égard de l'expert devant au contraire apparaître comme fondée sur des éléments objectifs (<ref-ruling> sv.
consid. 3b/ee, 123 V 176 consid. 3d et l'arrêt cité; VSI 2001 p. 109 sv. consid. 3b/ee; RAMA 1999 n° U 332 p. 193 consid. 2a/bb et les références).
Selon la jurisprudence, le fait que le médecin consulté soit lié à l'assureur par des relations de service ne permet pas pour ce seul motif de conclure à un manque d'objectivité ou d'impartialité de sa part. Il faut qu'il existe des circonstances particulières qui justifient objectivement la méfiance de l'assuré pour ce qui est de l'impartialité de l'appréciation. Le Tribunal fédéral des assurances a ainsi jugé que l'indépendance et l'impartialité des médecins du COMAI était garantie déjà avant l'entrée en vigueur de leur nouveau statut du 1er juin 1994 (<ref-ruling>; cf. également RAMA 1999 n° U 332 p. 193).
De même, il a statué qu'en matière d'assurance-accidents, l'administration et le juge des assurances sociales pouvaient, sous certaines réserves, se prononcer sur la base d'expertises réalisées par des médecins liés à l'institution d'assurance (<ref-ruling>). La CEDH a d'ailleurs rejeté le recours déposé par l'assuré contre le jugement précité (arrêt Bicer contre la Suisse du 22 juin 1999 in JAAC 2000 138 1341). Selon la jurisprudence de la CEDH, le fait que les experts mandatés par un tribunal soient subordonnés à l'une des parties n'est en principe pas incompatible avec l'art. 6 par. 1 CEDH qui garantit le droit à un procès équitable (JAAC 1998 95 917).
b) Du moment que l'impartialité objective des médecins liés par des relations de service à l'assurance-accidents vis-à-vis de celle-ci n'est pas mise en doute, comme d'ailleurs, bien que dans un cadre relationnel différent, celle des médecins du COMAI à l'égard de l'AI, on ne voit pas que l'impartialité objective pourrait être déniée aux médecins travaillant à la Clinique de réhabilitation (liée à l'assurance-accidents) lorsqu'ils donnent leur avis d'experts à la demande de l'assurance-invalidité.
En outre, il n'existe à ce jour pas de litige entre le recourant et la CNA, laquelle n'est pas partie à la présente procédure. On ne voit pas ce qui aurait pu amener les experts à faire preuve, subjectivement, de partialité dans le cadre d'un litige qui oppose le recourant à l'OAI. A tout le moins, il convient de constater que la preuve du contraire permettant de renverser la présomption d'impartialité dont bénéficie l'expert n'a pas été rapportée (cf. Auer/Malinverni/Hottelier, Droit constitutionnel suisse, Berne 2000, no 1205).
4.- Dans un second moyen, le recourant fait valoir que le jugement entrepris est insuffisamment motivé.
a) La jurisprudence a notamment déduit du droit d'être entendu, découlant de l'art. 4 aCst. (actuellement art. 29 al. 2 Cst.), l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Si le juge des assurances sociales doit motiver ses décisions, il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs soulevés par les parties. Il peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents. Dans le cas où l'autorité ne satisfait pas à son devoir minimum d'examiner et traiter les problèmes pertinents, il y aura lieu de constater la violation du droit d'être entendu (<ref-ruling> consid. 1a; <ref-ruling> consid. 2a et les arrêts cités).
b) En l'espèce, il est indéniable que le jugement attaqué satisfait aux exigences exposées ci-dessus. Même si sa motivation est relativement concise, les juges cantonaux ont exposé pourquoi ils ont donné la préférence aux conclusions de l'expertise P._ sur les autres avis médicaux figurant au dossier, ainsi que les raisons pour lesquelles ils ont estimé que le taux d'invalidité était de 60 % sans qu'il soit nécessaire de procéder pour cela à une comparaison des revenus. Leur prononcé contient ainsi tous les éléments permettant à l'intéressé d'en comprendre les motifs et de l'attaquer devant l'autorité de recours.
5.- Sur le fond, les premiers juges ont correctement rappelé dans leurs jugements successifs les principes applicables en matière d'évaluation de l'invalidité, de révision (<ref-law>) et d'appréciation des rapports médicaux.
On peut pour l'essentiel y renvoyer.
a) Dans un arrêt du 14 juin 1999 (<ref-ruling>), le Tribunal fédéral des assurances a précisé sa jurisprudence relative à l'appréciation des preuves notamment dans le domaine médical. Il convient de rappeler ici que selon le principe de la libre appréciation des preuves, qui s'applique aussi bien en procédure administrative qu'en procédure de recours de droit administratif (<ref-law> en corrélation avec l'<ref-law>; art. 95 al. 2 OJ en liaison avec les art. 113 et 132 OJ), l'administration ou le juge apprécie librement les preuves, sans être lié par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. Dès lors, le juge doit examiner de manière objective tous les moyens de preuve, quelle qu'en soit la provenance, puis décider si les documents à disposition permettent de porter un jugement valable sur le droit litigieux. Si les rapports médicaux sont contradictoires, il ne peut trancher l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale et non pas sur une autre.
b) L'élément déterminant pour la valeur probante d'un certificat médical n'est ni son origine ni sa désignation sous la forme d'un rapport ou d'une expertise, mais bel et bien son contenu. A cet égard, il importe que les points litigieux importants aient fait l'objet d'une étude fouillée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées, qu'il ait été établi en pleine connaissance du dossier (anamnèse), que la description des interférences médicales soit claire et enfin que les conclusions de l'expert soient bien motivées.
c) Sans remettre en cause le principe de la libre appréciation des preuves, la jurisprudence a posé des lignes directrices en ce qui concerne la manière d'apprécier certains types d'expertises ou de rapports médicaux.
aa) Ainsi, le juge ne s'écarte en principe pas sans motifs impératifs des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Peut constituer une raison de s'écarter de l'expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante.
En outre, lors d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale.
bb) Lorsque, au stade de la procédure administrative, une expertise confiée à un médecin indépendant est établie par un spécialiste reconnu, sur la base d'observations approfondies et d'investigations complètes, ainsi qu'en pleine connaissance du dossier, et que l'expert aboutit à des résultats convaincants, le juge ne saurait les écarter aussi longtemps qu'aucun indice concret ne permet de douter de leur bien-fondé.
cc) En outre, au sujet des rapports établis par les médecins traitants, le juge peut et doit tenir compte du fait que, selon l'expérience, le médecin traitant est généralement enclin, en cas de doute, à prendre parti pour son patient en raison de la relation de confiance qui l'unit à ce dernier.
dd) Toutefois, le simple fait qu'un certificat médical est établi à la demande d'une partie et produit pendant la procédure ne justifie pas, en soi, des doutes quant à sa valeur probante. Une expertise présentée par une partie peut donc également valoir comme moyen de preuve. En vertu des principes énoncés par la jurisprudence concernant l'appréciation des preuves, le juge est toutefois tenu d'examiner si elle est propre à mettre en doute, sur les points litigieux importants, l'opinion et les conclusions de l'expert mandaté par le tribunal. Cette jurisprudence s'applique aussi bien lorsqu'un assuré entend remettre en cause, au moyen d'une expertise privée, les conclusions d'une expertise aménagée par l'assureur-accidents ou par un office AI.
6.- En l'occurrence, les diagnostics posés par les différents médecins qui ont examiné B._ ne diffèrent pas sensiblement. En substance, le recourant est atteint d'omarthrose droite sur un status après acromioplastie associée à une suture de coiffe, de conflit sous-acromial de l'épaule gauche, de cervicalgies sur uncodiscarthrose étagée de C2 à C5, de lombalgies communes et de gonarthrose bilatérale incipiens. En revanche, ces mêmes médecins divergent dans leur appréciation des conséquences de ces atteintes à la santé sur la capacité de travail du recourant.
Alors que les docteurs L._ et P._, experts commis par l'OAI, retiennent une incapacité de travail de 60 % dans la profession exercée jusqu'alors et attestent ainsi une absence de modification de la situation de l'assuré par rapport à celle qui prévalait en juin 1996, les docteurs R._, médecin traitant, et M._, chirurgien orthopédiste, considèrent que l'incapacité de travail de l'assuré dans sa profession est totale. Quant au docteur D._, spécialiste FMH en chirurgie orthopédique et médecin traitant, il est d'avis qu'une capacité de travail dans une activité sédentaire - dont il ne fixe toutefois pas le pourcentage - subsiste, tout en signalant que le taux d'incapacité de travail de 60 % arrêté par l'AI et la CNA lui paraît justifié (rapport du 25 mai 2000).
Pour trancher entre ces avis divergents, il convient d'abord de considérer que l'expertise du docteur P._ a été rendue au terme d'une étude fouillée et en pleine connaissance du dossier, et qu'elle se fonde sur de nombreux examens cliniques; elle remplit ainsi toutes les conditions pour lui reconnaître pleine valeur probante. Il ressort de cette expertise que l'état de santé du recourant n'a pas subi de changements significatifs depuis 4 ans, et que le taux d'incapacité de travail de ce dernier - estimé, selon l'expert, de manière généreuse déjà à l'époque de la décision initiale - est demeuré inchangé. On précisera encore que le premier expert commis par l'OAI, à savoir le docteur L._, est parvenu au même résultat. Or, au regard des règles jurisprudentielles exposées plus haut, l'opinion du docteur M._ n'est pas propre à mettre en doute les conclusions l'expert. De constatations médicales pour l'essentiel superposables à celles contenues dans l'expertise du 14 avril 2000, ce médecin tire en effet simplement d'autres conclusions au sujet de la capacité de travail de l'assuré. Par ailleurs, le docteur M._ s'est fondé sur la thèse - apparemment erronée si l'on se réfère aux indications fournies par l'assuré à l'expert P._ - qu'il incombait audit assuré, en sa qualité de contremaître, d'effectuer des travaux de force ou lourds.
Enfin, on ne saurait rien déduire du licenciement du recourant (lié à une restructuration de l'entreprise).
Celui-ci a occupé une place de travail à un taux d'activité correspondant à sa capacité de travail résiduelle et percevait un salaire en rapport avec ses prestations. Pour ces mêmes motifs, l'opinion divergente du docteur R._, médecin traitant, qui renvoie en réalité à l'avis du docteur M._, n'est pas non plus de nature à remettre en cause les conclusions de l'expert P._.
Dans ces conditions, c'est à bon droit que les premiers juges ont, en l'espèce, nié que les conditions d'une révision étaient réalisées. Le recours se révèle ainsi mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 26 juillet 2002
Au nom du
Tribunal fédéral des assurance
La Présidente de la IVe Chambre :
La Greffière :