A.- Par lettre du 29 octobre 1996, la Commission paritaire médecins/caisses-maladie (ci-après : la commission paritaire) a informé le docteur P._ qu'elle envisageait de prendre une "mesure de rétrocession" à son encontre pour avoir prodigué durant l'année 1995 des traitements jugés non économiques, et l'a invité à se présenter devant elle le 12 décembre 1996. Le docteur P._ n'a pas donné suite à cette convocation, mais a déposé des déterminations écrites. Après avoir examiné les éléments au dossier, la commission paritaire a proposé la solution amiable suivante : la restitution par le docteur P._ d'un montant de 30 000 fr. payable dans les 30 jours ("décision" du 7 janvier 1997). Ayant agréé cette proposition, la Fédération valaisanne des assureurs-maladie (FVAM) a prié le docteur P._ de lui verser la somme de 30 000 fr. jusqu'au 30 mars 1997. Ce dernier a refusé de régler le montant demandé. B.- Le 4 septembre 1997, la Chrétienne Sociale Suisse et 15 autres caisses-maladie, toutes représentées par la FVAM, ainsi que la Conférence d'assureurs-maladie et accident du Valais (CAMAV) ont alors requis la constitution du Tribunal arbitral, en concluant au paiement par le docteur P._ de 140 000 fr. En cours de procédure, elles ont introduit, respectivement les 26 août 1998, 1er septembre 1999 et 15 septembre 2000, trois nouvelles demandes de restitution à l'encontre du médecin prénommé pour les années 1996, 1997 et 1998. Par jugement du 2 mars 2001, le tribunal a rejeté toutes les demandes pour défaut de qualité pour agir, et mis les frais de la cause par 3700 fr. ainsi qu'une indemnité de dépens de 2000 fr. à charge des demanderesses. C.- Ces dernières interjettent recours de droit administratif contre ce jugement dont elles requièrent l'annulation, en concluant - sous suite de frais et dépens - à ce que leurs demandes soient déclarées recevables. Le docteur P._ conclut au rejet du recours. Le tribunal arbitral a présenté des observations. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé.