A.- Par lettre du 29 octobre 1996, la Commission paritaire médecins/caisses-maladie (ci-après : la commission paritaire) a informé le docteur P._ qu'elle envisageait de prendre une "mesure de rétrocession" à son encontre pour avoir prodigué durant l'année 1995 des traitements jugés non économiques, et l'a invité à se présenter devant elle le 12 décembre 1996. Le docteur P._ n'a pas donné suite à cette convocation, mais a déposé des déterminations écrites.
Après avoir examiné les éléments au dossier, la commission paritaire a proposé la solution amiable suivante :
la restitution par le docteur P._ d'un montant de 30 000 fr. payable dans les 30 jours ("décision" du 7 janvier 1997). Ayant agréé cette proposition, la Fédération valaisanne des assureurs-maladie (FVAM) a prié le docteur P._ de lui verser la somme de 30 000 fr. jusqu'au 30 mars 1997. Ce dernier a refusé de régler le montant demandé.
B.- Le 4 septembre 1997, la Chrétienne Sociale Suisse et 15 autres caisses-maladie, toutes représentées par la FVAM, ainsi que la Conférence d'assureurs-maladie et accident du Valais (CAMAV) ont alors requis la constitution du Tribunal arbitral, en concluant au paiement par le docteur P._ de 140 000 fr. En cours de procédure, elles ont introduit, respectivement les 26 août 1998, 1er septembre 1999 et 15 septembre 2000, trois nouvelles demandes de restitution à l'encontre du médecin prénommé pour les années 1996, 1997 et 1998.
Par jugement du 2 mars 2001, le tribunal a rejeté toutes les demandes pour défaut de qualité pour agir, et mis les frais de la cause par 3700 fr. ainsi qu'une indemnité de dépens de 2000 fr. à charge des demanderesses.
C.- Ces dernières interjettent recours de droit administratif contre ce jugement dont elles requièrent l'annulation, en concluant - sous suite de frais et dépens - à ce que leurs demandes soient déclarées recevables.
Le docteur P._ conclut au rejet du recours. Le tribunal arbitral a présenté des observations. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé.
Considérant en droit :
1.- a) Le tribunal arbitral a statué sur les quatre demandes des recourantes en faisant application de la Loi fédérale sur l'assurance-maladie du 18 mars 1994 (LAMal), en vigueur depuis le 1er janvier 1996.
S'agissant en particulier de la demande du 4 septembre 1997, les premiers juges ont considéré que cette dernière devait être tranchée selon le nouveau droit même si elle concernait des prestations payées par les recourantes sous le régime de la LAMA. En effet, la question de la restitution de prestations indûment perçues n'avait fait l'objet d'aucune réglementation spécifique aux dispositions transitoires de la LAMal, de sorte que l'on pouvait partir de l'idée qu'en ce domaine, le législateur fédéral entendait que le nouveau droit s'applique dès son entrée en vigueur.
Du moment que la demande en cause avait été introduite après le 1er janvier 1996, la LAMal lui était donc applicable, sur le plan procédural comme sur le fond, à l'instar des autres procédures des recourantes qui, elles, tombaient manifestement sous le coup de la nouvelle loi.
b) En bref, le tribunal arbitral a jugé qu'au regard de l'art. 56 al. 2 LAMal et contrairement à la pratique en vigueur sous l'empire de la LAMA, les assureurs n'étaient plus fondés, dans le système du tiers garant (art. 42 al. 1 LAMal), à agir directement à l'encontre d'un fournisseur de prestations pour obtenir la restitution des prestations indûment versées. Dans un tel système en effet, la nouvelle législation n'accordait aux assureurs plus qu'un "rôle de représentant de l'assuré" (cf. art. 89 al. 3 LAMal). Ce dernier étant seul débiteur de la rémunération envers le fournisseur de prestations concerné, il était également seul titulaire de la créance en restitution en cas de facturation abusive de la part de celui-ci. Dans la mesure où les recourantes intervenaient in casu non pas pour le compte d'assurés particuliers mais en leur propre nom, la qualité pour agir à l'encontre du docteur P._ devait par conséquent leur être niée.
2.- Pour leur part, les recourantes soutiennent que s'il ne prête pas à discussion que leurs demandes, respectivement des 26 août 1998, 1er septembre 1999 et 15 septembre 2000, entrent dans le champ d'application de la LAMal, en revanche, celle du 4 septembre 1997, en tant qu'elle se rapporte à la restitution d'honoraires perçus par le docteur P._ en 1995, doit être jugée à la lumière de l'ancien droit en vertu du principe selon lequel le droit applicable à une procédure est celui en vigueur au moment des faits juridiquement déterminants.
Au-delà de cette question du droit applicable, les recourantes considèrent que l'introduction de la LAMal n'a rien changé au régime instauré sous l'empire de la LAMA en ce qui concerne le droit des caisses-maladie d'exiger d'un fournisseur de prestations la restitution des sommes perçues indûment à raison de traitements non économiques.
Selon elles, en cette matière, la LAMal reconnaît aux assureurs une représentation légale des assurés.
3.- Il convient préalablement de relever - bien que cela n'ait pas véritablement d'incidence sur l'issue du présent litige comme on le verra plus loin - que le raisonnement des premiers juges relatif à la détermination du droit applicable à la première demande du 4 septembre 1997 est erroné.
Que le tribunal arbitral ait statué sur la question de sa compétence fonctionnelle au regard de l'art. 89 LAMal se justifie, dès lors que la demande litigieuse a été introduite après l'entrée en vigueur de la LAMal (comp. ATF 124 V 132 consid. 3b). Cela n'emporte pas pour autant l'application du nouveau droit également sous l'angle matériel.
D'après les principes généraux, on applique, en cas de changement de règles de droit et sauf réglementation transitoire contraire, les dispositions en vigueur lors de la réalisation de l'état de fait qui doit être apprécié juridiquement ou qui a des conséquences juridiques (ATF 121 V 100 consid. 1a; SJ 1996 p. 427 consid. 2b; Moor, Droit administratif, vol. I, 2ème éd., p. 170). Dans le cas particulier, l'état de fait qui fonde la demande en restitution du 4 septembre 1997 réside dans le versement de prestations prétendument indues à raison de traitements jugés non économiques prodigués par l'intimé en 1995. Au vu des critères précités et faute de disposition transitoire prévoyant expressément l'application de la LAMal à une telle situation, le bien-fondé de cette demande doit dès lors être jugé à l'aune du droit fédéral en vigueur à l'époque du versement des prestations, soit en l'occurrence la LAMA. Sur ce point déjà, les critiques soulevées par les recourantes sont fondées.
4.- La qualité pour agir dans une procédure arbitrale relève, comme dans un procès civil, du fondement matériel de l'action (ATF 111 V 347 consid. 1c).
a) De jurisprudence constante sous l'empire de la LAMA (RJAM 1970 n° 65 p. 85 consid. 2; ATF 103 V 151 consid. 3 et les arrêts cités; RJAM 1980 n° 393 p. 3), les caisses-maladie se sont vues reconnaître, dans le système du tiers garant, la titularité des créances pécuniaires découlant de traitements non économiques au sens de l'art. 23 LAMA.
Reste à examiner si cette solution prévaut également dans la LAMal.
b) Aux termes de l'art. 56 al. 1 et 2LAMal :
" 1 Le fournisseur de prestations doit limiter ses
prestations à la mesure exigée par l'intérêt de
l'assuré et le but du traitement.
2 La rémunération des prestations qui dépassent cette
limite peut être refusée. Le fournisseur de prestations
peut être tenu de restituer les sommes reçues à
tort au sens de la présente loi. Ont qualité pour demander
la restitution :
a. l'assuré ou, conformément à l'article 89, 3e alinéa,
l'assureur dans le système du tiers garant
(art. 42, 1er al.);
b. l'assureur dans le système du tiers payant
(art. 42, 2e al.)"
Dans un arrêt récent (ATF 127 V 281), le Tribunal fédéral des assurances a eu l'occasion de préciser la portée de l'art. 56 LAMal, singulièrement du 2ème alinéa. Il a jugé que cette disposition confère aux assureurs un droit propre à exiger d'un fournisseur de prestations la restitution des sommes qu'il a perçues indûment, même lorsque l'assuré est le débiteur de la rémunération (système du tiers garant). Se référant aux travaux préparatoires de la LAMal (en particulier le projet de la Commission d'experts du 2 novembre 1990 et le Message du Conseil fédéral du 6 novembre 1991 [FF 1992 I 171 et 260]), la Cour de céans a retenu que le but poursuivi par le législateur au travers du nouvel art. 56 LAMal était de codifier la pratique jurisprudentielle développée sous l'empire de la LAMA en matière de polypragmasie, et non pas - contrairement à la thèse adoptée ici par le tribunal arbitral - d'instaurer un nouveau principe, d'après lequel, dans le système du tiers garant, seul l'assuré serait en droit d'exiger du fournisseur de prestations la restitution de la rémunération qu'il lui a versée, lorsque celle-ci dépasse la limite fixé par l'art. 56 al. 1 LAMal.
5.- Il s'ensuit que la légitimation active des recourantes est donnée sous l'angle de la LAMA comme de la LAMal et que les premiers juges ont rejeté à tort l'ensemble de leurs demandes pour défaut de la qualité pour agir.
Le recours se révèle ainsi bien fondé.
6.- La procédure n'est pas gratuite s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurances (art. 134 OJ a contrario). Les frais de justice seront mis à la charge de l'intimé, qui succombe (art. 156 OJ). Pour ce même motif, ce dernier versera une indemnité de dépens aux recourantes.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal arbitral
du canton du Valais du 2 mars 2001 est annulé. La
cause est renvoyée audit tribunal pour qu'il se prononce
sur les conclusions des demandes des 4 septembre
1997, 26 août 1998, 1er septembre 1999 et 15 septembre
2000.
II. Les frais de justice, d'un montant de 3000 fr., sont mis à la charge de l'intimé. L'avance de frais effectuée par les recourantes, d'un montant de 3000 fr.,
leur est restituée.
III. L'intimé versera aux recourantes une indemnité de dépens (y compris la taxe à la valeur ajoutée) de 2500 fr.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal arbitral du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 15 avril 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :