A.- J._ a présenté, le 31 août 1994, une demande tendant à l'octroi d'une rente de l'assurance-invalidité. Par décision du 29 novembre 1996, l'Office AI du canton de Vaud lui a alloué, à partir du 1er janvier 1995, une demi-rente d'invalidité assortie de rentes complémentaires correspondantes pour son épouse et son fils. Cette prestation était fondée sur une invalidité de 50 % due à une maladie de longue durée.
Saisie d'une demande de l'assuré tendant à la révision de son droit à la rente, l'administration a confirmé le maintien de la prestation allouée jusqu'alors (communication du 20 août 1998).
L'assuré ayant contesté ce point de vue (lettre du 7 octobre 1998), l'office AI cantonal a requis l'avis du docteur A._, médecin traitant. Dans un rapport du 3 no- vembre 1998, ce médecin a attesté l'existence d'un état stationnaire et une incapacité de travail de 75 % du 30 janvier 1998 au 12 janvier 1999. Le 22 décembre 1998, l'office AI cantonal a informé l'assuré que sa communication du 20 août précédent relative au maintien de la demi-rente était erronée et qu'il allait mettre en oeuvre une procédure d'instruction.
L'assuré étant retourné vivre dans son pays d'origine, l'Espagne, son dossier a été transmis à la Caisse suisse de compensation.
Dans un projet de décision du 24 février 2000, l'office AI cantonal a informé l'assuré qu'il allait reconsidérer sa décision d'octroi d'une demi-rente du 29 novembre 1996 et supprimer le droit à cette prestation. Il a considéré qu'en fixant, à l'époque, le degré d'invalidité à 50 %, il s'était fondé sur l'avis du docteur B._ (rapport d'expertise du 18 juin 1996), selon lequel la capacité de travail était de 50 % dans l'ancienne activité de maçon.
Comme toutefois ce médecin avait également attesté une capacité de travail entière dans une activité sans port de lourdes charges, la capacité de gain résiduelle aurait dû être calculée en fonction d'une telle activité, dans laquelle l'assuré pouvait réaliser un gain suffisant pour exclure tout droit à une rente. Dans la mesure où elle avait été rendue sans tenir compte des possibilités de réadaptation ni de l'activité raisonnablement exigible, et sans procéder à une comparaison des revenus, la décision du 29 novembre 1996 était sans nul doute erronée, de sorte qu'elle devait être révoquée par la voie de la reconsidération.
Aussi, par une décision non datée, l'Office AI pour les assurés résidant à l'étranger a-t-il supprimé le droit à la demi-rente à partir du 1er juin 2000.
B.- Saisie d'un recours contre cette décision, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger l'a rejeté par jugement du 12 mars 2001.
C.- J._ interjette recours de droit administratif en concluant, sous suite de dépens, à l'annulation du jugement attaqué et de la décision administrative litigieuse, ainsi qu'au renvoi de la cause à l'Office AI du canton de Vaud pour qu'il reprenne l'instruction de sa demande de prestations du 29 août 1994 en vue d'assurer son reclassement professionnel et de déterminer le taux de son invalidité.
L'office intimé conclut au rejet du recours en se fondant sur une détermination de l'office AI cantonal.
L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.- Selon l'<ref-law>, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. Tout changement important des circonstances, propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci. Le point de savoir si un tel changement s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la décision initiale de rente et les circonstances régnant à l'époque de la décision litigieuse (<ref-ruling> consid. 2 et la référence; voir également <ref-ruling> consid. 2b et 390 consid. 1b).
Si les conditions prévues à l'<ref-law> font défaut, la décision de rente ne peut être modifiée que d'après les règles applicables à la reconsidération de décisions administratives passées en force. Conformément à ces règles, l'administration peut en tout temps revenir d'office sur une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée sous l'angle matériel, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable. Elle est tenue de le faire si des faits nouveaux ou de nouveaux moyens de preuve, de nature à conduire à une appréciation juridique différente, sont découverts (<ref-ruling> consid. 2a, 292 consid. 1 et les arrêts cités).
2.- a) En l'espèce, l'office intimé, se fondant sur un prononcé de l'office AI cantonal du 6 avril 2000, a reconsidéré la décision initiale d'octroi d'une demi-rente du 29 novembre 1996. Il a considéré que cette décision était sans nul doute erronée, dans la mesure où le degré d'invalidité y avait été calculé compte tenu du revenu d'invalide que l'assuré pouvait encore obtenir dans son ancienne activité de maçon, alors que sa capacité de gain, bien supérieure dans une activité adaptée, sans port de lourdes charges, excluait effectivement tout droit à une rente. La juridiction cantonale a confirmé cette décision de reconsidération.
De son côté, le recourant allègue que son invalidité s'est aggravée postérieurement à la décision d'octroi d'une demi-rente, de sorte que, si cette décision devait bel et bien être modifiée, c'est pour être remplacée par une décision d'octroi d'une rente entière.
b) Le principe selon lequel l'administration peut en tout temps revenir d'office sur une décision formellement passée en force qui n'a pas donné lieu à un jugement sur le fond, lorsque celle-ci est certainement erronée et que sa rectification revêt une importance appréciable, l'emporte sur la procédure de révision au sens de l'<ref-law>.
Ainsi, l'administration peut aussi modifier une décision de rente lorsque les conditions de la révision selon l'<ref-law> ne sont pas remplies (<ref-ruling> consid. 2 et les arrêts cités; cf. aussi <ref-ruling> consid. 2c et 390 consid. 1b).
Cette faculté correspond d'ailleurs à celle du juge de confirmer, le cas échéant, une décision de révision rendue à tort pour le motif substitué que la décision de rente initiale était sans nul doute erronée et que sa rectification revêt une importance notable (<ref-ruling>, 106 V 87 consid. 1, 105 V 201 consid. 1 et les arrêts cités). Le principe de la priorité de la reconsidération sur la révision au sens de l'<ref-law> permet donc à l'administration de reconsidérer une décision lorsque les conditions d'une révision ne sont pas réalisées. A plus forte raison, l'administration peut procéder à une reconsidération lorsque l'instruction mise en oeuvre ne permet pas d'affirmer à coup sûr que les conditions d'une révision sont réalisées.
Il est en effet superflu d'obliger l'administration à compléter l'instruction à ce sujet (avec tout ce que cela suppose de démarches dispendieuses), lorsque le caractère manifestement erroné de la décision initiale d'octroi de prestations ressort clairement des éléments du dossier et qu'une reconsidération apparaît, pour ce motif, justifiée.
c) En l'occurrence, il s'agit d'examiner si l'octroi au recourant d'une demi-rente d'invalidité en 1996 était manifestement erroné.
Dans un rapport d'expertise du 18 juin 1996, le docteur B._, spécialiste en médecine physique et réhabilitation, avait diagnostiqué des lombosciatalgies gauches chroniques sur discopathie L5-S1, sans syndrome lomboradiculaire actuel, des cervicalgies chroniques sans syndrome cervical et des arthralgies diffuses sans substrat clinique actuel. Il avait attesté une capacité résiduelle de travail de 50 % dans l'activité habituelle de maçon, tout en faisant état d'une capacité entière dans une profession ne nécessitant pas le port de lourdes charges.
Se fondant sur cet avis médical, l'office AI cantonal a fixé l'invalidité à 50 % par prononcé du 30 août 1996, ce qui a donné lieu à l'octroi d'une demi-rente à partir du 1er janvier 1995 (décision du 29 novembre 1996). Pour cela, l'administration a considéré que l'assuré, incapable de travailler à 50 % dans sa profession habituelle de maçon, n'était en mesure de ne réaliser que la moitié du gain qu'il aurait obtenu sans atteinte à la santé. Ce faisant, elle a omis de tenir compte du fait - non contesté - que l'intéressé avait une capacité de travail entière dans toute profession ne nécessitant pas le port de lourdes charges et dans laquelle il pouvait réaliser un revenu excluant tout droit à une rente. Cette méthode d'évaluation de l'invalidité n'est pas soutenable : en procédant à une comparaison des activités dans la profession de maçon et en évaluant le degré d'invalidité d'après l'incidence de la capacité de rendement amoindrie dans cette activité, l'office AI cantonal a considéré comme revenu d'invalide le gain perçu effectivement par l'assuré dans une activité impliquant des travaux difficilement compatibles avec son handicap. Ainsi, il a omis de tenir compte du principe selon lequel il appartient au premier chef à l'assuré d'atténuer le mieux possible les conséquences de son invalidité (<ref-ruling> consid. 4a et les références), ce qui se traduit par la prise en compte, dans l'évaluation de l'invalidité, du revenu d'invalide réalisable dans une activité raisonnablement exigible (cf. <ref-law>).
Or, en l'espèce, l'activité exercée par l'intéressé après la survenance de l'atteinte à la santé ne satisfaisait manifestement pas à cette exigence, dès lors que sa capacité résiduelle de travail pouvait être mieux mise en valeur dans une activité n'exigeant pas le port de lourdes charges. En exerçant une activité légère dans différents secteurs de l'industrie ou des services, l'assuré aurait pu réaliser, selon l'évaluation de l'office AI cantonal du 9 novembre 1999, un revenu largement supérieur à 60 % du gain qu'il percevait avant l'atteinte à la santé dans son activité de maçon sans certificat fédéral de capacité. Cela étant, la décision d'octroi d'une demi-rente du 29 novembre 1996, fondée sur une méthode d'évaluation de l'invalidité non conforme à la loi, apparaît sans nul doute erronée au sens de la jurisprudence, ce qui justifie sa révocation par voie de reconsidération. L'office intimé était dès lors fondé à supprimer le droit à la demi-rente avec effet ex nunc (<ref-ruling> consid. 3c).
d) Cela étant, il n'en demeure pas moins qu'au cours de la procédure administrative déjà, le recourant a demandé à plusieurs reprises à bénéficier de mesures de réadaptation, sous la forme d'un reclassement professionnel. Dans la mesure où l'office intimé n'a pas statué sur cette requête, il convient de lui renvoyer la cause pour qu'il examine le droit éventuel de l'intéressé à une telle prestation après la suppression du droit à la demi-rente.
3.- Le recourant, qui obtient partiellement gain de cause, est représenté par un avocat. Il a droit à une indemnité de dépens réduite pour l'ensemble de la procédure (art. 85 al. 2 let. f LAVS en liaison avec l'<ref-law>; art. 159 al. 1 et 3 en relation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est partiellement admis en ce sens que le
jugement de la Commission fédérale de recours en
matière d'assurance-vieillesse, survivants et invalidité
pour les personnes résidant à l'étranger du 12 mars 2001 et la décision non datée de l'Office AI
pour les assurés résidant à l'étranger sont réformés,
la cause étant renvoyée audit office pour qu'il statue
sur le droit éventuel du recourant à une mesure de
reclassement professionnel.
II. Il n'est pas perçu de frais de justice.
III. L'Office AI pour les assurés résidant à l'étranger versera au recourant la somme de 1500 fr. (y compris la taxe sur la valeur ajoutée) à titre d'indemnité de
dépens réduite pour l'ensemble de la procédure.
IV. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger, à l'Office AI du canton de
Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 23 mai 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
Le Greffier :