A.- a) B._, de nationalité italienne, a travaillé en qualité de régleur pour l'entreprise de construction X._; il était titulaire d'un permis de saisonnier. A la suite d'un accident survenu le 5 juin 1992, il a cessé son activité professionnelle et a été mis au bénéfice d'une rente pour incapacité de gain de 70 % dès le 1er septembre 1993 par la Caisse nationale suisse d'assurance en cas d'accidents (ci-après : CNA; décision du 12 avril 1994).
Par décision - entrée en force - du 24 octobre 1996, l'Office AI pour les assurés résidant à l'étranger (ci-après : l'office AI) a accordé au prénommé, entre-temps rentré dans son pays d'origine, une rente entière d'invalidité, fondée sur un taux d'invalidité de 70 %, ainsi que les rentes complémentaires pour son épouse et son fils, à partir du 1er juin 1993.
b) Le 12 juillet 2000, l'office AI a reconsidéré sa décision du 24 octobre 1996 et supprimé la rente rétroactivement au 1er juin 1993, au motif que l'assuré ne remplissait pas les conditions d'assurance au moment de la survenance de l'invalidité, soit le 5 juin 1993, dès lors qu'il ne séjournait plus en Suisse à cette date-là.
B.- L'assuré a déféré cette décision à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission de recours) qui l'a débouté par jugement du 4 septembre 2001.
C.- B._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens. Il conclut au maintien de la rente d'invalidité.
L'office AI conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- a) Le litige porte sur le point de savoir si les conditions d'une reconsidération de la décision du 24 octobre 1996 étaient ou non remplies en l'occurrence, étant entendu que l'hypothèse prévue à l'<ref-law> n'entre pas en ligne de compte dans le cas particulier.
b) Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 4b, 46 consid. 2b, 400 consid. 2b/aa et les arrêts cités).
2.- a) Les premiers juges ont correctement exposé les dispositions légales (<ref-law>, art. 1er, 4 al. 2, 6 al. 1, 29 al. 1 let. a et b LAI) et conventionnelles (art. 8 lit. b de la Convention relative à la sécurité sociale entre la Suisse et l'Italie, du 14 septembre 1962, [ci-après : la convention]) applicables au cas, de sorte qu'il suffit de renvoyer au jugement attaqué.
b) On ajoutera que l'art. 8 let. a de la convention prévoit que les ressortissants italiens non domiciliés en Suisse qui ont dû abandonner leur activité dans ce pays à la suite d'un accident ou d'une maladie et qui y demeurent jusqu'à la réalisation du risque assuré sont considérés comme étant assurés au sens de la législation suisse pour l'octroi des prestations de l'assurance-invalidité. Ils doivent acquitter les cotisations à l'assurance-vieillesse, survivants et invalidité comme s'ils avaient leur domicile en Suisse.
Cette norme a été introduite dans la convention pour améliorer notamment la situation des travailleurs saisonniers de nationalité italienne qui ne peuvent en principe se constituer un domicile au sens des art. 23 ss. CC (<ref-ruling> consid. 2b). Jusqu'alors, en effet, le travailleur saisonnier italien qui devait interrompre son activité en Suisse pour cause de maladie ou d'accident et qui y demeurait jusqu'à la survenance de l'invalidité ne pouvait prétendre des prestations : il ne remplissait pas la clause d'assurance exigée par la loi, du moment qu'il n'était pas domicilié en Suisse et qu'il n'y exerçait plus aucune activité lucrative (Message du Conseil fédéral concernant un deuxième Avenant à la Convention de sécurité sociale avec l'Italie, du 29 octobre 1980, FF 1980 III 1205).
c) La question à résoudre est donc de savoir si le recourant est demeuré en Suisse jusqu'à la survenance de l'invalidité, auquel cas il serait considéré comme assuré au sens du droit suisse. Le terme de "demeurer" au sens de la disposition précitée est également employé dans d'autres conventions. Le Tribunal fédéral des assurances, qui a eu l'occasion de se prononcer sur l'interprétation de cette notion dans le cadre de l'application de l'art. 8 let. f de la Convention relative aux assurances sociales entre la Suisse et la Yougoslavie, du 8 juin 1962, (<ref-ruling>), a considéré qu'elle devait être comprise dans le sens de "séjourner habituellement" ("sich gewöhnlich aufhalten"), définition qui, en droit international des assurances sociales, est aussi utilisée à maintes reprises pour expliquer le terme "résider" (<ref-ruling> consid. 6c). Ce qui est déterminant pour le séjour habituel, c'est le séjour effectif en Suisse et la volonté de prolonger celui-ci; en outre, le centre de toutes les relations de l'intéressé doit se trouver en Suisse (<ref-ruling> consid. 6c et les arrêts cités). Cela ne signifie toutefois pas que l'assuré doit séjourner de manière ininterrompue en Suisse jusqu'à la survenance du cas d'assurance; il ne doit pas y avoir d'interruption de longue durée (<ref-ruling> consid. 6d).
Par ailleurs, le séjour habituel ne doit pas être qualifié, en ce sens que l'on ne saurait exiger en plus du séjour effectif une autorisation délivrée par la police des étrangers (cf. <ref-ruling> consid. 4c).
3.- En l'espèce, le recourant, au bénéfice d'un permis de saisonnier, a été victime d'un accident de travail, le 5 juin 1992, à la suite duquel il n'a plus été en mesure de reprendre son activité de régleur auprès de l'entreprise de construction X._ SA. Comme l'ont retenu à juste titre l'intimé et les premiers juges, l'invalidité est donc survenue, dans l'hypothèse la plus favorable à l'intéressé (cf. <ref-law>), au plus tôt le 5 juin 1993.
4.- En ce qui concerne la fin du séjour du recourant, à l'instar de l'office AI, les premiers juges ont retenu qu'il a définitivement quitté la Suisse au plus tard le 27 mai 1993, dès lors qu'il avait annoncé son intention de rentrer en Italie ce jour-là lors d'un entretien avec le secrétariat de la Commission de l'assurance-invalidité (ci-après : secrétariat AI) la veille et indiqué sa nouvelle adresse en Italie (rapport du secrétariat du 26 mai 1993). En conséquence, ils ont admis que B._ n'était pas assuré au moment de la survenance de l'invalidité, si bien que la décision initiale de l'office intimé était manifestement erronée.
Le recourant fait en revanche valoir que, contrairement à ce qu'il avait dit à l'époque à l'administration, il est encore demeuré en Suisse jusqu'au mois de septembre 1993 pour suivre son traitement médical.
5.- a) Il ressort du dossier que B._ s'est rendu chez le docteur A._ à la fin du mois d'août et au début du mois de septembre 1993; il a également consulté le docteur C._, le 6 septembre 1993. A cet égard, le docteur A._ atteste que B._ a effectivement été en traitement chez lui jusqu'au 7 septembre 1993, date de la dernière consultation lors de laquelle celui-ci lui a annoncé refuser l'intervention médicale proposée par le docteur C._ ainsi que son départ définitif de la Suisse pour l'Italie (lettre du 17 mai 2000 au conseil du recourant). Ces déclarations sont du reste confirmées par une annotation du médecin, inscrite le 7 septembre 1993 sur la fiche de traitement du patient, dont la teneur est :
"décide de ne rien faire pour l'instant. Retour en Italie".
Au regard de ces faits, on ne saurait d'emblée exclure que le recourant a continué à séjourner en Suisse après le 27 mai 1993, malgré sa déclaration d'intention au secrétariat AI. Celle-ci ne saurait, contrairement à ce qu'ont admis les premiers juges, suffire pour démontrer que B._ a réellement quitté la Suisse à cette date-là, dans la mesure où il ne s'agit que d'une manifestation de volonté de l'assuré et non d'un fait objectif. De même, le rapport du docteur D._, médecin de l'AI, du 25 avril 1996 contenant la mention manuscrite "a quitté la Suisse le 27.5.93" ne constitue pas non plus une preuve du départ du recourant à l'étranger à ce moment-là, étant donné qu'il n'est pas possible de vérifier sur quelle circonstance repose cette constatation.
b) On ne saurait pas non plus se fonder, comme l'a fait l'instance de recours pour admettre le départ du recourant avant le 5 juin 1993, sur les indications du contrôle des habitants de la municipalité de E._ du 18 juillet 2000. Selon celles-ci, B._ aurait cessé de séjourner dans la commune de E._ dès le 15 mars 1993, - date à laquelle expirait son permis "L" accordé pour lui permettre de suivre un traitement médical -, alors qu'il est établi que ce dernier a continué à demeurer en Suisse postérieurement à cette date. En effet, après une pause thérapeutique en Italie (certificat médical du 19 février 1993 du docteur A._), il a déposé sa demande de prestations AI au secrétariat AI le 23 avril 1993, a suivi un traitement de physiothérapie à la Clinique médico-chirurgicale Y._ entre le 26 avril et le 7 mai 1993 ou s'est rendu à des consultations successives chez le docteur A._ les 7, 11 et 26 mai 1993. Il y a lieu de relever par ailleurs que le dossier de l'office AI contenait la copie d'une "demande de prolongation d'autorisation de séjour et de travail" du 19 février 1993 pour suivre un traitement médical en Suisse, signée par le recourant et son ancien employeur (laquelle n'est jamais parvenue au service des étrangers compétent). Cette demande, dont l'administration avait connaissance en 1996, constituait une circonstance objective permettant de penser que le recourant avait l'intention de demeurer en Suisse jusqu'à la fin de son traitement médical. Or, l'office AI aurait pu chercher à savoir, au moment de sa décision initiale, si l'autorisation de séjour de l'assuré avait effectivement été prolongée ou non pour connaître la date exacte de son départ de Suisse.
Enfin, il ressort de l'échange de correspondance entre le recourant et la CNA que celle-ci lui écrivait encore à son adresse à Sion le 1er juillet 1993, alors qu'une lettre datée du 14 septembre 1993 lui était en revanche adressée à son domicile en Italie. L'office AI, qui avait à disposition le dossier médical de la CNA (note du secrétariat AI du 15 février 1994, complétée le 22 février 1996), pouvait donc en déduire que le recourant n'avait plus l'intention de demeurer en Suisse et ne s'était installé définitivement en Italie qu'en septembre 1993.
c) Dans ces circonstances, il apparaît que la prolongation du séjour du recourant en Suisse au-delà du 27 mai 1993 ne peut pas être exclue avec certitude. S'agissant d'une question d'appréciation, on ne saurait dès lors affirmer aujourd'hui que l'office intimé a rendu en 1996 une décision "manifestement erronée" lorsqu'il a accordé une rente d'invalidité à l'assuré.
d) Partant, l'office AI n'était pas en droit de supprimer le droit à la rente du recourant.
Le recours de droit administratif se révèle ainsi bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 4 septembre
2001 de la Commission fédérale de recours en matière
d'assurance-vieillesse, survivants et invalidité pour
les personnes résidant à l'étranger et la décision du 12 juillet 2000 de l'Office AI pour les assurés résidant
à l'étranger sont annulés.
II. Il n'est pas perçu de frais de justice.
III. L'Office AI versera au recourant la somme de 3000 fr.
à titre de dépens (y compris la taxe à la valeur
ajoutée) pour l'ensemble de la procédure.
IV. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurancevieillesse, survivants et invalidité pour les personnes
résidant à l'étranger et à l'Office fédéral des
assurances sociales.
Lucerne, le 18 avril 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière :