A.- a) A._, originaire du Kosovo, a travaillé clandestinement en Suisse de mai 1984 à août 1994, en qualité de carreleur et de maçon. Il a été incapable de travailler à partir du mois de juillet 1994, en raison de douleurs lombaires, et a dû être opéré d'une hernie discale le 2 septembre 1994, au Centre hospitalier X._. Il n'a pas repris le travail depuis lors et déposa une demande de prestation de l'assurance-invalidité le 15 février 1995. D'après un rapport rédigé le 2 août 1995 par le médecin traitant de A._, le docteur B._, celui-ci présentait une incapacité de travail totale en raison de lombalgies sur hernie discale paramédiane L5-S1 gauche et de lombalgies pour hernie discale à droite (L4-L5), avec une nette participation psychogène (rapport du 2 août 1995). Par décision du 18 avril 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) rejeta la demande de prestations de A._, au motif que ce dernier séjournait illégalement en Suisse. Cette décision fut déférée au Tribunal des assurances du canton de Vaud, qui l'annula par jugement du 16 octobre 1997. La juridiction cantonale considéra en effet que A._ était assuré au moment de la survenance de l'invalidité, en dépit de sa situation illégale en Suisse, de sorte qu'il pouvait en principe prétendre des prestations de l'assurance-invalidité. Elle renvoya la cause à l'office AI pour qu'il détermine les prestations dues à A._. b) Le dossier de ce dernier fut notamment complété par un rapport rédigé le 6 juin 1997 par le docteur C._, neurologue, faisant état d'un syndrome douloureux chronique sans signe d'atteinte radiculaire, après cure de hernie discale L5-S1 en 1994. L'office AI a également obtenu de nouveaux rapport de la part du docteur B._, décrivant notamment un état anxio-dépressif, avec des troubles digestifs fonctionnels et des précordialgies itératives; le médecin traitant préconisait une psychothérapie et déclarait son patient totalement incapable de travailler (rapports des 5 et 17 novembre 1998). Pour sa part, l'assuré produisit un jugement rendu le 30 octobre 1998, dans la cause l'opposant à son ancien employeur, par le Tribunal cantonal vaudois (Cour civile), qui cite largement une expertise réalisée les 19 janvier et 11 mars 1998 par le docteur C._ et en résume les conclusions. Par décision du 9 mars 2000, l'office AI refusa d'allouer ses prestations à A._, au motif que ce dernier ne présentait pas d'atteinte à la santé justifiant une incapacité de travail. B.- A._ interjeta un recours contre cette décision, en produisant notamment un certificat médical établi le 31 mars 2000 par son médecin traitant. Par jugement du 31 octobre 2000, le Tribunal des assurances du canton de Vaud annula la décision de l'office AI et lui retourna la cause pour qu'il alloue une rente entière d'invalidité à A._. C.- L'office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. L'intimé conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.