A.- A._ a présenté, au mois de mars 1992, une demande de prestations de l'assurance-invalidité.
Par décision du 22 mai 2000, l'Office AI du canton de Vaud lui a alloué, à partir du 1er juillet 1999, une rente entière d'invalidité fondée sur un taux d'invalidité de 70 %.
B.- A._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant à ce que le droit à la rente entière lui fût reconnu à partir du 1er novembre 1996.
Dans sa réponse au recours, du 4 septembre 2000, l'Office AI a conclu à l'admission de celui-ci, dans le sens d'un renvoi de la cause à l'administration pour nouvelle décision après complément d'instruction sous la forme d'une expertise médicale.
Par jugement de son président du 5 septembre 2000, le Tribunal des assurances a annulé la décision litigieuse et renvoyé la cause à l'office AI pour nouvelle décision, après complément d'instruction au sens des considérants. Il a considéré, en résumé, que le dossier était insuffisamment instruit sur le plan médical pour permettre de statuer sur le moment de la naissance du droit à la rente; aussi l'instruction devait-elle être complétée "quant au moment de la survenance d'une invalidité ouvrant droit à une rente, de quelque quotité que ce soit".
C.- A._ interjette un recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant, sous suite de dépens, au renvoi de la cause au Tribunal cantonal "pour que, s'il persiste à vouloir renvoyer l'affaire à l'office intimé pour instruction complémentaire sur la quotité de la rente, il donne d'une part l'occasion au recourant de retirer son recours puis, si le recourant ne retire pas son recours, qu'il motive d'autre part le pourquoi de son renvoi à l'office AI".
L'office intimé conclut implicitement au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination.

Considérant en droit :
1.- a) Le recourant reproche au premier juge une violation de son droit d'être entendu, au motif qu'il a omis de lui donner l'occasion de se déterminer sur la réponse de l'office AI du 4 septembre 2000, lequel prenait des conclusions tendant à la modification de sa décision au détriment de l'intéressé.
b) Le droit d'être entendu est une garantie constitutionnelle de caractère formel (art. 29 al. 2 Cst.), dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 4a, 122 II 469 consid. 4a et les arrêts cités).
La jurisprudence en a déduit, en particulier, le droit pour le justiciable d'avoir accès au dossier.
Une condition nécessaire du droit de consulter le dossier est que l'autorité, lorsqu'elle verse au dossier de nouvelles pièces dont elle entend se prévaloir dans son jugement, soit tenue d'en aviser les parties (<ref-ruling> consid. 2b, 114 Ia 100 consid. 2c et les références).
Encore qu'elle ne soit pas obligée de les renseigner sur chaque production de pièces, car il suffit qu'elle tienne le dossier à leur disposition (<ref-ruling> consid. 2a et les références; RCC 1991 p. 107 consid. 4a).
c) Dans sa réponse au recours devant la juridiction cantonale, par laquelle il concluait à l'admission de celui-ci et au renvoi de la cause à l'administration pour instruction complémentaire, l'office AI a affirmé que la rente entière avait été allouée à l'assuré sur la base de renseignements médicaux incomplets, dans la mesure où il avait omis de tenir compte de l'avis de son médecin conseil, le docteur B._. L'office AI se rapportait à une note établie par ce praticien le 9 septembre 1999, en réponse à des questions des organes de décision de l'office.
Ceux-ci se référaient à un rapport de stage d'observation professionnelle (du 6 août 1999) au Centre de formation X._, selon lequel l'assuré n'était pas en mesure d'assumer un emploi à plein temps dans le circuit économique, et désiraient savoir si le rapport en question permettait d'admettre l'existence d'un droit à une rente entière d'invalidité, le cas échéant à partir de quelle date. Or, dans sa note susmentionnée du 9 septembre 1999, le docteur B._ a répondu négativement à cette question, précisant notamment qu'il n'y avait pas de lien de causalité entre les faibles rendements observés au Centre X._ et l'atteinte à la santé de l'assuré.
Aussi, doit-on admettre qu'en concluant, dans sa réponse au recours, à ce que la cause lui fût renvoyée pour complément d'instruction sous la forme d'une expertise médicale, l'office AI envisageait de statuer une nouvelle fois non seulement sur le moment de la naissance du droit à la rente entière, mais également sur le principe même du droit à une telle prestation.
Force est dès lors de constater qu'en renvoyant la cause à l'office AI pour nouvelle décision après complément d'instruction sur le moment de la survenance d'une invalidité ouvrant droit à une rente, ainsi que sur la quotité de celle-ci, la juridiction cantonale s'est prévalue de la détermination de l'office AI. Dans la mesure où le recourant n'a pas eu connaissance de cette pièce - à réception de laquelle la juridiction cantonale a rendu le jugement attaqué -, son droit d'être entendu n'a pas été respecté.
Ce vice, qui n'est pas dépourvu de gravité, ne peut pas être réparé en procédure fédérale (cf. <ref-ruling> consid. 4c/aa). L'affaire doit donc être renvoyée à la juridiction cantonale pour qu'elle statue à nouveau, après avoir donné au recourant la possibilité de s'exprimer sur la réponse de l'office AI et de retirer éventuellement son recours. Compte tenu de l'issue du litige, il est inutile d'examiner les autres griefs du recourant.
2.- S'agissant d'un litige qui porte, sur le fond, sur des prestations d'assurance, la procédure est gratuite (art. 134 OJ a contrario).
Si le canton n'est pas partie au procès, il n'y a pas lieu, en principe, de mettre à sa charge une indemnité de dépens. Toutefois, conformément à l'art. 159 al. 5 en corrélation avec l'art. 156 al. 6 OJ, il se justifie de déroger à ce principe lorsque le jugement cantonal viole de manière qualifiée les règles d'application de la justice et cause de ce fait des frais aux parties (RAMA 1999 no U 331 p. 128 consid. 4; arrêt W. du 7 avril 1998, consid. 5a et b non reproduit aux <ref-ruling>). En l'espèce, on doit admettre que cette condition est remplie, de sorte qu'il se justifie de mettre l'indemnité de dépens due au recourant à la charge non pas de l'intimé, mais de l'Etat de Vaud.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal des
assurances du canton de Vaud du 5 septembre 2000 est
annulé.
II. La cause est renvoyée à ce tribunal pour qu'il procède conformément aux considérants.
III. Il n'est pas perçu de frais de justice.
IV. L'Etat de Vaud versera au recourant une indemnité de dépens (y compris la taxe à la valeur ajoutée) de 1500 fr.
V. Le présent arrêt sera communiqué aux parties, au
Tribunal des assurances du canton de Vaud, à l'Etat de
Vaud, à la Caisse cantonale vaudoise de compensation
et à l'Office fédéral des assurances sociales.
Lucerne, le 25 mai 2001
Au nom du
Tribunal fédéral des assurances
Le juge présidant la IIe Chambre :
Le Greffier :