A.- a) A._, originaire du Kosovo, a travaillé clandestinement en Suisse de mai 1984 à août 1994, en qualité de carreleur et de maçon. Il a été incapable de travailler à partir du mois de juillet 1994, en raison de douleurs lombaires, et a dû être opéré d'une hernie discale le 2 septembre 1994, au Centre hospitalier X._. Il n'a pas repris le travail depuis lors et déposa une demande de prestation de l'assurance-invalidité le 15 février 1995.
D'après un rapport rédigé le 2 août 1995 par le médecin traitant de A._, le docteur B._, celui-ci présentait une incapacité de travail totale en raison de lombalgies sur hernie discale paramédiane L5-S1 gauche et de lombalgies pour hernie discale à droite (L4-L5), avec une nette participation psychogène (rapport du 2 août 1995).
Par décision du 18 avril 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) rejeta la demande de prestations de A._, au motif que ce dernier séjournait illégalement en Suisse.
Cette décision fut déférée au Tribunal des assurances du canton de Vaud, qui l'annula par jugement du 16 octobre 1997. La juridiction cantonale considéra en effet que A._ était assuré au moment de la survenance de l'invalidité, en dépit de sa situation illégale en Suisse, de sorte qu'il pouvait en principe prétendre des prestations de l'assurance-invalidité. Elle renvoya la cause à l'office AI pour qu'il détermine les prestations dues à A._.
b) Le dossier de ce dernier fut notamment complété par un rapport rédigé le 6 juin 1997 par le docteur C._, neurologue, faisant état d'un syndrome douloureux chronique sans signe d'atteinte radiculaire, après cure de hernie discale L5-S1 en 1994. L'office AI a également obtenu de nouveaux rapport de la part du docteur B._, décrivant notamment un état anxio-dépressif, avec des troubles digestifs fonctionnels et des précordialgies itératives; le médecin traitant préconisait une psychothérapie et déclarait son patient totalement incapable de travailler (rapports des 5 et 17 novembre 1998). Pour sa part, l'assuré produisit un jugement rendu le 30 octobre 1998, dans la cause l'opposant à son ancien employeur, par le Tribunal cantonal vaudois (Cour civile), qui cite largement une expertise réalisée les 19 janvier et 11 mars 1998 par le docteur C._ et en résume les conclusions.
Par décision du 9 mars 2000, l'office AI refusa d'allouer ses prestations à A._, au motif que ce dernier ne présentait pas d'atteinte à la santé justifiant une incapacité de travail.
B.- A._ interjeta un recours contre cette décision, en produisant notamment un certificat médical établi le 31 mars 2000 par son médecin traitant. Par jugement du 31 octobre 2000, le Tribunal des assurances du canton de Vaud annula la décision de l'office AI et lui retourna la cause pour qu'il alloue une rente entière d'invalidité à A._.
C.- L'office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation.
L'intimé conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- L'office recourant soutient que la procédure menée devant la juridiction cantonale était viciée, car cette dernière ne l'a pas invité à se déterminer sur le jugement du 30 octobre 1998 du Tribunal cantonal vaudois (Cour civile); de même la juridiction cantonale aurait-elle dû lui transmettre l'expertise réalisée par le docteur Regli.
Ce moyen n'est pas fondé, dès lors que, quoi qu'il en dise, le recourant a eu tout loisir de se déterminer sur le jugement cité, auquel A._ s'était largement référé dans ses écritures au Tribunal des assurances du canton de Vaud. La juridiction cantonale l'a en effet invité, par courrier des 26 avril et 28 juillet 2000 à se déterminer sur le recours et la réplique déposés par A._, en lui offrant la possibilité de prendre connaissance du dossier au greffe du tribunal. Son droit d'accéder au dossier et de se déterminer sur son contenu (cf. <ref-ruling> consid. 2b, 16 consid. 2 a/aa et les arrêts cités) n'a donc pas été violé.
Le recourant avait le droit d'obtenir l'administration de preuves pertinentes et valablement offertes, ainsi que celui d'y participer (cf. <ref-ruling> consid. 2 a/aa et les arrêts cités). Ce droit lui permettait d'obtenir la production de l'expertise litigieuse et de poser des questions au docteur C._, mais supposait qu'il en fasse la demande. A défaut d'avoir présenté une telle requête, il ne peut se prévaloir d'une violation de son droit d'être entendu. Tout au plus peut-il contester l'appréciation, par les premiers juges, de la valeur probante du jugement du 30 octobre 1998 du Tribunal cantonal vaudois (Cour civile), en tant qu'il rapporte le contenu de l'expertise réalisée par le docteur C._.
2.- L'office recourant conteste ensuite la qualité d'assuré de l'intimé, en raison de l'illégalité de sa présence en Suisse.
Par jugement du 16 octobre 1997, le Tribunal des assurances du canton de Vaud a déjà statué sur cette question. Or, son jugement est entré en force faute d'avoir été entrepris par les parties dans le délai légal. Au demeurant, les considérants des premiers juges sur la qualité d'assuré de l'intimé sont pertinents si bien que l'on peut se limiter à renvoyer à leurs considérants.
3.- Le recourant conteste enfin le taux d'invalidité retenu par les premiers juges.
a) Le jugement entrepris expose correctement les règles fixées aux art. 4 et 28 LAI, relatifs à la notion d'invalidité, à l'échelonnement des rentes selon le taux d'invalidité de l'assuré et à la manière d'évaluer ce taux, de sorte qu'on peut y renvoyer.
On ajoutera que le juge des assurances sociales doit, quelle que soit leur provenance, examiner l'ensemble des moyens de preuve de manière objective et décider s'ils permettent de trancher la question des droits litigieux de manière sûre. Si tel n'est pas le cas, il doit mettre en oeuvre une expertise ou renvoyer la cause à l'assureur social pour instruction complémentaire (cf. <ref-ruling> consid. 1d). Avant de conférer pleine valeur probante à un rapport médical, le juge s'assurera que les points litigieux ont fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prend également en considération les plaintes exprimées par la personne examinée, qu'il a été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale sont claires et enfin que les conclusions de l'expert sont dûment motivées (<ref-ruling> consid. 3a et la référence).
b) Les premiers juges se sont largement fondés sur l'expertise des 19 janvier et 11 mars 1998 du docteur C._, dont ils n'avaient connaissance qu'au travers de la relation qui en était faite dans le jugement du 30 octobre 1998 du Tribunal cantonal vaudois. Dans la mesure où ce jugement ne reproduit que partiellement l'expertise et résume les conclusions de l'expert, ce qui implique une part d'interprétation, il ne revêt qu'une valeur probante limitée. Au demeurant, contrairement à ce qu'ont retenu les premiers juges, il ne ressort pas de cette pièce que le docteur C._ a exclu la possibilité pour l'assuré de reprendre, à 50 %, une activité professionnelle lui permettant de ménager son dos; si l'expert semble se montrer, certes, dubitatif quant aux possibilités pour l'assuré d'exercer une telle activité, ce n'est pas tant à cause des limites imposées par son état de santé, sur le plan physique, qu'en raison de sa longue période d'inactivité.
Les premiers juges ne pouvaient pas davantage se fonder sur les rapports établis par le médecin traitant de l'assuré, qui n'ont eux aussi qu'une valeur probante limitée, en raison de leur caractère sommaire. Ils ne permettent en effet pas de déterminer dans quelle mesure le docteur B._ attribue l'incapacité de travail dont il fait état à des atteintes à la santé physique de l'assuré, à des troubles d'ordre psychique, ou à des facteurs socioculturels.
Ce praticien avait constaté, en 1995 déjà, une nette surcharge psychogène chez l'assuré (rapport du 2 août 1995) et fait état d'importants problèmes psychosomatiques dans son rapport du 31 mars 2000.
Les moyens de preuves figurant au dossier ne permettant pas de se prononcer en connaissance de cause, ni le recourant, ni les premiers juges ne pouvaient statuer sur l'invalidité de l'assuré, de sorte que le dossier doit être complété. Vu les probables interactions entre les troubles psychiques dont fait état le docteur B._ et les atteintes à la santé physique de l'assuré, il convient de faire procéder à une expertise pluridisciplinaire par un neurologue et un psychiatre. Cette mesure d'instruction est en effet la mieux appropriée pour déterminer quelles activités sont encore accessibles à l'assuré, compte tenu de ses limites fonctionnelles, et dans quelle mesure son état de santé psychique lui permet encore d'exercer de telles activités. Aussi la cause sera-t-elle renvoyée au recourant afin qu'il rende une nouvelle décision, après avoir mis en oeuvre une expertise pluridisciplinaire. Il veillera à mettre à disposition des experts qu'il mandatera un dossier médical complet, comprenant également l'expertise des 19 janvier et 11 mars 1998 réalisée par le docteur C._.
4.- a) D'après l'art. 159 al. 6 OJ, le Tribunal fédéral des assurances confirme, annule ou modifie, selon le résultat du procès, la décision de la juridiction cantonale qui a condamné l'une des parties aux dépens.
Le recours déposé par A._ devant la juridiction cantonale était bien fondé, dans la mesure où la cause sera renvoyée à l'office AI pour instruction complémentaire et nouvelle décision. L'assuré pouvait donc prétendre l'allocation de dépens par les premiers juges (cf. <ref-ruling> consid. 3a; SVR IV 10 28 consid. 3), de sorte que le point IV du dispositif du jugement entrepris, par lequel une indemnité de dépens de 1500 fr. est allouée à l'assuré pour la procédure cantonale, doit être maintenu.
b) Pour la procédure fédérale, ni le recourant, qui agit en qualité d'autorité (art. 159 al. 2 OJ), ni l'intimé, qui succombe (art. 159 al. 1 OJ), n'ont droit à des dépens. La procédure est par ailleurs gratuite, le litige portant sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et les chiffres I à III du
jugement du 31 octobre 2000 du Tribunal des assurances
du canton de Vaud, ainsi que la décision du 9 mars
2000 de l'Office de l'assurance-invalidité pour le
canton de Vaud sont annulés.
II. La cause est renvoyée à l'Office de l'assurance- invalidité pour instruction complémentaire au sens des considérants et nouvelle décision.
III. Il n'est pas perçu de frais de justice, ni alloué de dépens.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 5 avril 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier :