A.- a) A._ a obtenu un CFC de forestier-bûcheron en 1986. Souffrant de problèmes lombaires, il a dû cesser l'exercice de cette activité en 1989 et s'est annoncé à l'assurance-invalidité, le 23 novembre 1989.
L'assuré a bénéficié de mesures de réadaptation d'ordre professionnel de l'AI, consistant en un apprentissage de vendeur qu'il a terminé avec un CFC en 1993. Par la suite, il a suivi les cours de l'Ecole X._ durant quelques mois (orientation maturité E, puis orientation commerciale), avant de commencer un apprentissage de gestionnaire de vente; en mars 1995, l'assuré a été renvoyé de l'école professionnelle pour cause d'absentéisme.
Dans sa décision du 12 janvier 1996, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a constaté que la formation dispensée postérieurement à l'obtention du CFC de vendeur avait échoué en raison du manque d'intérêt de l'assuré. En conséquence, l'office AI a considéré que l'intéressé avait été reclassé favorablement et mis fin à ses démarches. Quant au droit à la rente, l'administration l'a nié, dès lors que le degré d'invalidité s'élevait à 31 %. Cette décision n'a pas été attaquée.
b) Le 14 septembre 1999, l'assuré a déposé une nouvelle demande de prestations. Au terme de son instruction, l'office AI a constaté que l'état de santé de l'assuré ne s'était pas aggravé et qu'il était pleinement en mesure de travailler en qualité de vendeur, activité dans laquelle il subissait désormais un manque à gagner de 23 % par rapport au revenu qu'il aurait pu obtenir comme forestier-bûcheron.
Considérant en bref que des mesures professionnelles n'étaient pas indispensables et que le degré d'invalidité n'ouvrait pas droit à la rente, l'office AI a rejeté la demande de prestations (reclassement et rente), par décision du 11 septembre 2000.
B.- A._ a déféré cette décision au Tribunal des assurances du canton de Vaud en concluant à la reprise des mesures de réadaptation, à la charge de l'AI.
La juridiction cantonale de recours l'a débouté, par jugement du 9 février 2001.
C.- A._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant principalement au financement, par l'AI, d'une formation de gestionnaire de vente, subsidiairement au renvoi de la cause à l'autorité cantonale pour instruction complémentaire.
L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.
Considérant en droit :
1.- Le litige porte sur le droit du recourant à des mesures de réadaptation d'ordre professionnel de l'AI, singulièrement une formation de gestionnaire de vente.
2.- a) Le recourant soutient que la décision du 12 janvier 1996, par laquelle l'intimé avait mis fin à son droit aux mesures de réadaptation, était nulle car elle n'était pas désignée comme telle et ne mentionnait ni voie ni délai de recours.
b) Sont considérées comme décisions, au sens de l'art. 5 al. 1 PA, les mesures prises par les autorités, fondées sur le droit public fédéral et concernant les droits et les devoirs d'un assuré dans un cas d'espèce. Ces décisions doivent être désignées comme telles et indiquer les voies de droit, même si elles sont notifiées sous forme de lettres (art. 35 al. 1 PA).
Lorsqu'une telle lettre ne remplit pas les conditions formelles, mais que son contenu est celui d'une décision, il faut la considérer comme une décision; elle peut alors être attaquée par voie de recours (RCC 1989 p. 193 consid. 2b). Par ailleurs, selon la jurisprudence, la notification irrégulière d'une décision, notamment celle qui ne comporte pas d'indication des voies de droit, n'a pas pour effet d'empêcher indéfiniment le délai de recours de courir, et n'est de surcroît pas nécessairement nulle. Le délai de recours s'écoule au plus tard depuis le jour où l'intéressé est en possession de tous les éléments qui sont nécessaires à la défense de ses droits. Si l'on peut comprendre qu'un justiciable, agissant en personne, se fie aux renseignements qui lui sont donnés par une administration ou un tribunal, on peut attendre de lui, s'il entend attaquer une décision et n'a reçu aucune indication, qu'il se renseigne auprès d'un avocat ou de l'autorité qui a statué.
Chacun sait que les décisions deviennent définitives si elles ne sont pas attaquées dans un certain délai; l'absence de toute indication incite naturellement à se renseigner sans attendre. La règle de la bonne foi s'applique aussi au justiciable et il ne saurait être protégé en cas de faute lourde de sa part. On ne peut donc pas admettre, en pareille situation, qu'un recours soit déposé dans n'importe quel délai (voir ATF 119 IV 334 consid. 1c, 102 Ib 91; Grisel, Traité de droit administratif, p. 878).
c) En l'espèce, nonobstant le défaut d'indication du terme "décision", le recourant devait, au regard de son contenu, inférer de l'écriture du 12 janvier 1996 que l'intimé lui signifiait son intention de mettre fin au financement des mesures de réadaptation dont il avait bénéficié. Cet acte constituait ainsi une décision au sens de l'art. 5 al. 1 PA.
Durant la période de trois ans et demi qui s'est écoulée à partir de la notification de cette décision, le recourant s'est abstenu d'en contester le bien-fondé et n'a pas pris contact avec l'administration de l'AI en vue d'obtenir le reclassement qu'il réclame aujourd'hui. Il faut donc admettre qu'il s'est tacitement incliné devant le point de vue de l'intimé, si bien que la décision du 12 janvier 1996 est entrée en force, nonobstant les vices dont elle était effectivement entachée (cf. art. 35 al. 1 PA).
3.- a) Lorsqu'il a sollicité de nouvelles mesures de l'AI, le 14 septembre 1999, le recourant n'a pas invoqué un changement important des circonstances (état de santé, situation économique) propre à influencer le degré d'invalidité, mais il a mis en évidence les problèmes d'ordre familiaux et de santé qui l'auraient conduit, en 1995, à interrompre son reclassement (lettre du 20 décembre 1999).
Dans la mesure où le recourant fait grief à l'intimé d'avoir violé la lettre et l'esprit de l'art. 10 al. 2 LAI en ayant nié son droit à des mesures de réadaptation, on doit admettre qu'il lui a demandé - implicitement, certes - de reconsidérer sa décision du 12 janvier 1996.
b) Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (ATF 126 V 23 consid. 4b, 46 consid. 2b, 400 consid. 2b/aa et les arrêts cités).
D'après la jurisprudence, l'administration n'est pas tenue de reconsidérer les décisions qui remplissent les conditions fixées; elle en a simplement la faculté et ni l'assuré ni le juge ne peuvent l'y contraindre. Cependant, lorsque l'administration entre en matière sur une demande de reconsidération et examine si les conditions d'une reconsidération sont remplies, puis statue au fond par une nouvelle décision de refus, celle-ci est susceptible d'être attaquée par la voie d'un recours. Le contrôle juridictionnel dans la procédure de recours subséquente se limite alors au point de savoir si les conditions d'une reconsidération (inexactitude manifeste de la décision initiale et importance notable de la rectification) sont réunies (ATF 119 V 479 consid. 1b/cc et les références; SVR 1995 AHV n° 71 p. 215 consid. 2a; Meyer-Blaser, Die Abänderung formell rechtskräftiger Verwaltungsverfügungen in der Sozialversicherung, ZBl 1994 pp. 337 ss; Die Bedeutung von Art. 4 Bundesverfassung für das Sozialversicherungsrecht, RDS 111 [1992] II 443 ss).
c) Dans le cas d'espèce, l'intimé est entré en matière sur la demande de reconsidération du 14 septembre 1999, puis il l'a rejetée au motif que des mesures professionnelles n'étaient pas indispensables et que le degré d'invalidité n'ouvrait pas droit à la rente. Sa nouvelle décision de refus était donc susceptible d'être déférée au juge des assurances sociales.
4.- a) Aux termes de l'art. 10 al. 2 LAI, l'ayant droit a le devoir de faciliter toutes les mesures prises en vue de sa réadaptation. L'assurance peut suspendre ses prestations si l'ayant droit entrave ou empêche la réadaptation.
Par ailleurs, selon la jurisprudence rendue à propos de l'art. 31 al. 1 LAI, laquelle s'applique aussi à l'éventualité visée à l'art. 10 al. 2 LAI, l'assuré doit être rendu attentif, dans chaque cas, aux conséquences négatives possibles qu'entraînerait une attitude rénitente de sa part au sujet des mesures de réadaptation, afin qu'il soit à même de prendre une décision en pleine connaissance de cause (ATF 122 V 218 et le commentaire de Ch. Schürer paru in RJB 1996 p. 540).
b) A n'en pas douter, la décision du 12 janvier 1996 était manifestement inexacte dans la mesure où l'intimé avait mis définitivement fin aux mesures de réadaptation.
En effet, non seulement l'administration avait omis de donner à l'assuré l'avertissement requis par la jurisprudence (cf. ATF 122 V 218) avant de statuer, mais de plus la sanction prise à l'encontre du recourant (la suppression et le refus définitifs de la prestation) n'était pas conforme à ce que prévoit l'art. 10 al. 2 LAI (la suspension de la prestation).
En outre, il n'y a pas lieu de s'attarder sur la condition de l'importance notable de la rectification (cf. ATF 126 V 23 consid. 4b), de toute évidence réalisée s'agissant de la prise en charge d'une formation professionnelle.
5.- Selon la jurisprudence, l'assuré a droit à une formation supplémentaire lorsqu'un reclassement effectué aux frais de l'AI ne peut lui procurer un revenu du travail suffisant et que l'intéressé doit recourir à des mesures supplémentaires pour obtenir un gain comparable à celui qu'il toucherait sans invalidité, dans son activité antérieure (ATFA 1967 p. 108; VSI 2000 p. 31 consid. 2). Le droit à une telle formation complémentaire ne dépend alors pas du point de savoir si le seuil déterminant pour une mesure de reclassement (20 % environ de perte de gain) est atteint (arrêt non publié B. du 19 mars 1999 I 476/98).
Comme le recourant allègue, plusieurs années après l'interruption de son reclassement, que sa situation personnelle a changé et qu'il entend désormais se consacrer à des mesures de réadaptation, il incombe à l'administration de reprendre l'instruction de la question de la réintégration de l'assuré.
A ce stade, on ne connaît pas la nature des mesures de réadaptation d'ordre professionnel qui sont les plus appropriées pour le recourant, car ce point n'a pas été examiné par l'intimé. Le recours étant bien fondé, la cause lui sera renvoyée afin qu'il complète son instruction et statue à nouveau sur la prise en charge de ces mesures.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal des
assurances du canton de Vaud du 9 février 2001 ainsi
que la décision de l'Office de l'assurance-invalidité
pour le canton de Vaud du 11 septembre 2000 sont annulés,
la cause étant renvoyée audit office pour instruction
complémentaire au sens des considérants et
nouvelle décision.
II. Il n'est pas perçu de frais de justice.
III. L'intimé versera au recourant la somme de 2500 fr. à titre de dépens (y compris la taxe à la valeur ajoutée) pour l'instance fédérale.
IV. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
V. Le présent arrêt sera communiqué aux parties, au
Tribunal des assurances du canton de Vaud et à
l'Office fédéral des assurances sociales.
Lucerne, le 14 février 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
Le Greffier :