A.- Le 16 juillet 1998, trente-deux caisses-maladie, toutes représentées par la Fédération vaudoise des assureurs-maladie (ci-après : FVAM), ont requis la constitution du Tribunal arbitral des assurances du canton de Vaud dans le litige qui les oppose au docteur P._, médecin, auquel elles réclament la restitution d'une somme de 122'000 francs avec intérêt à 5 % l'an dès le 1er juillet 1996 au titre d'honoraires reçus à tort. Après l'échec de la tentative de conciliation, le tribunal arbitral a été constitué. D'entrée de cause, le défendeur a contesté la recevabilité de la demande et, après un échange de mémoires complémentaires à ce sujet, les parties ont convenu, avec l'accord du tribunal, que celui-ci statuerait à titre préjudiciel sur cette seule question. B.- Par jugement du 4 novembre 1999, le tribunal arbitral a déclaré la demande irrecevable et mis les frais de la cause, par 3000 francs, à la charge des demanderesses sans allouer de dépens. C.- Les demanderesses, toujours représentées par la FVAM, interjettent recours de droit administratif contre ce jugement dont elles requièrent l'annulation, en invitant le Tribunal fédéral des assurances à déclarer recevable leur demande et à mettre les frais de la cause ainsi qu'une indemnité de dépens de 5000 francs à la charge "des défendeurs" (sic). Le docteur P._ conclut, sous suite de dépens, au rejet du recours. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé.