A.- a) A._ travaillait en qualité de vigile depuis 1992. Souffrant de maux de dos intermittents, à la suite d'un accident survenu en 1983, il a été reconnu incapable de travailler à 100 % depuis le 27 octobre 1993 pour une durée indéterminée par son médecin traitant, le docteur B._. Celui-ci a diagnostiqué des lombosciatalgies aiguës sur discopathie, un état anxio-dépressif majeur et des séquelles post-traumatiques d'une fracture du talon gauche (rapport du 31 mai 1994). Il a par ailleurs constaté une aggravation de la sciatalgie, devenant par moments hyperalgique, malgré un traitement soutenu de physiothérapie. A._ n'a plus repris d'activité lucrative.
b) Par décisions des 7 août et 1er décembre 1995 de l'Office cantonal genevois de l'assurance-invalidité (ci-après : l'office), le prénommé a été mis au bénéfice, dès le 1er janvier 1994, d'une rente ordinaire simple d'invalidité, assortie de deux rentes pour enfant. Ces décisions se fondaient notamment sur un rapport d'expertise de la Policlinique de médecine de l'Hôpital X._ du 3 février 1995, selon lequel l'assuré était incapable de travailler en raison des douleurs lombaires chroniques et notamment des exacerbations aiguës, fréquentes et non prévisibles de celles-ci, mais que sa capacité de travail pouvait être améliorée par des mesures visant à parfaire sa musculation (école du dos et physiothérapie de musculation active). Les médecins de X._ indiquaient qu'un reclassement professionnel pouvait être envisagé par la suite, mais en tenant compte des limitations fonctionnelles actuelles de l'assuré, à savoir sa limitation dans le port des charges, la nécessité de pouvoir changer de position fréquemment et l'incapacité d'effectuer des marches prolongées.
Selon eux, les mesures envisagées permettaient d'espérer une reprise du travail à temps partiel.
c) A l'occasion d'une révision d'office, un rapport médical a été demandé au médecin traitant (rapport du docteur B._ du 7 septembre 1996). Par ailleurs, l'assuré a fait l'objet d'une expertise au Centre médical d'observation de l'assurance-invalidité de Lausanne (ci-après : COMAI). Dans leur rapport du 21 avril 1997, les docteurs C._ et D._ ont constaté des troubles statiques et dégénératifs des trois derniers segments de la colonne cervicale. Ils ont en outre estimé que la capacité de travail de l'assuré en tant que vigile était de 80 % au moins, cette activité n'exigeant pas de port de charges lourdes.
Se fondant sur cette expertise, l'office a estimé que l'assuré était désormais capable, dans une activité demandant peu d'efforts physiques (gardiennage), de travailler à 80 %, le taux d'incapacité de travail, estimé à 20 %, ne suffisant pas pour maintenir le droit à la rente. Il a, en conséquence, rendu, le 3 juillet 1997, une décision par laquelle il supprimait la rente en cours dès le 1er septembre 1997.
B.- L'assuré a recouru contre cette décision devant la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission). Interrogés par la commission sur leur divergence d'appréciation d'avec les experts de X._, les médecins du COMAI ont répondu que leur diagnostic était plus ou moins superposable à celui des experts genevois (prise de position du 26 janvier 1998). Ils ont en outre expliqué que la première appréciation concernant la capacité de travail de l'assuré avait été émise de manière générale (la profession n'était pas indiquée) et qu'elle était provisoire, puisqu'il avait été relevé que cette capacité pouvait être améliorée par des mesures visant à renforcer la musculation.
Par jugement du 16 juillet 1998, la commission a admis partiellement le recours en ce sens qu'elle a renvoyé la cause à l'office pour instruction complémentaire sous la forme d'une nouvelle expertise.
C.- Se fondant sur un rapport d'expertise du 29 septembre 1999 des docteurs E._ et F._ de l'Hôpital Z._, l'office a, le 25 février 2000, rendu une décision par laquelle il a derechef supprimé le droit de l'assuré à la rente, au motif que cette nouvelle expertise n'avait fait apparaître aucun élément médical objectif empêchant la reprise d'une activité professionnelle.
La commission a, par jugement du 23 avril 2001, admis le recours formé par l'assuré contre cette décision et annulé celle-ci.
D.- L'office interjette un recours de droit administratif dans lequel il conclut à l'annulation du jugement cantonal et à la confirmation de sa décision du 25 février 2000.
A._ conclut au rejet du recours et demande l'assistance judiciaire pour la procédure fédérale.
L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- a) Aux termes de l'art. 41 LAI, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. La rente n'est susceptible d'être révisée qu'en cas de changement important des circonstances, propre à influencer le degré de l'invalidité, donc le droit à la rente, soit non seulement en cas de modification sensible de l'état de santé, mais aussi lorsque ce dernier est en soi le même, mais que ses conséquences sur la capacité de gain ont subi un changement important (<ref-ruling> consid. 1a et les arrêts cités; voir également <ref-ruling> consid. 2b et 390 consid. 1b).
Le point de savoir si un tel changement s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la situation initiale de rente et les circonstances régnant à l'époque de la décision litigieuse (<ref-ruling> consid. 2 et les références). Il ne suffit toutefois pas qu'une situation demeurée inchangée pour l'essentiel, soit appréciée de manière différente (<ref-ruling> consid. 2b et 390 consid. 1b).
b) En l'espèce, comme l'ont constaté à juste titre les premiers juges, les conditions d'une révision au sens de l'art. 41 LAI ne sont pas remplies. En effet, il ressort des diverses expertises médicales précitées que l'état de santé de l'intimé ne s'est pas modifié entre le moment des décisions initiales d'octroi de la rente et celui de la décision administrative litigieuse. Si l'on pouvait, au vu des recommandations des médecins de X._, espérer qu'une amélioration de la santé de l'intimé surviendrait grâce aux mesures d'accompagnement préconisées, celle-ci ne s'est pas confirmée par la suite. En effet, ni les experts du COMAI (rapport du 21 avril 1997), ni les médecins de Z._ (rapport du 29 septembre 1999) ne font état d'une amélioration notable de l'état de santé de l'intimé.
Interrogés précisément sur le point de savoir si l'état de santé de l'assuré en 1999 était "globalement similaire ou notablement différent de celui décrit dans l'expertise de 1995 (Hôpital X._)", les experts de l'Hôpital Z._ ont relevé que l'état de santé actuel était tout à fait similaire à celui de 1995 et paraissait stationnaire.
La seule divergence entre le médecin traitant et les experts de X._ d'une part, et les médecins du COMAI et de l'Hôpital Z._ d'autre part, concerne l'appréciation de la capacité de travail de l'assuré. Alors que les premiers ont estimé que celui-ci était incapable de travailler à 100 % en raison de ses douleurs lombaires chroniques, les seconds sont d'avis qu'il serait capable de reprendre sa dernière activité professionnelle de vigile à 80 %. On constate donc que les médecins de X._, ceux du COMAI et ceux de l'Hôpital Z._ ne font qu'émettre une appréciation médicale différente sur la base d'un même état de fait.
Par ailleurs, contrairement à ce qu'allègue le recourant, la nouvelle évaluation de la capacité de travail de l'intimé faite en 1997 et confirmée en 1999, ne suffit pas, en soi, à démontrer que sa capacité de gain s'est effectivement améliorée de manière sensible. En effet, aucun élément du dossier ne permet de constater un changement déterminant en ce qui concerne la situation économique de l'assuré qui n'a plus travaillé depuis le 27 octobre 1993.
Dès lors, en l'absence d'une modification de la situation par rapport à la décision initiale, il n'y a pas matière à révision au sens de l'art. 41 LAI.
2.- a) Lorsque les conditions d'une révision au sens de l'art. 41 LAI font défaut, l'administration peut en tout temps, par la voie de la reconsidération, revenir d'office sur une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée sous l'angle matériel, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 2 et les références).
En outre, par analogie à la révision des décisions rendues par les autorités judiciaires, l'administration procède à la révision (procédurale) d'une décision entrée formellement en force lorsque sont découverts des faits nouveaux ou des nouveaux moyens de preuve susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 3a, 138 consid. 2c).
b) Le recourant, à juste titre, ne soutient pas qu'il existerait en l'occurrence un motif de reconsidération. En effet, il a fondé ses décisions d'octroi de la rente sur le rapport médical de X._ qui a été établi de manière détaillée et répondait aux exigences en matière de preuve (<ref-ruling> consid. 3a et les références). Au vu de cet avis médical, il n'était en tout cas pas manifestement erroné d'accorder une rente à l'intimé. Aucun élément ne ressort en outre du dossier qui permettrait de douter des conclusions prises par les médecins de X._. Par conséquent, les conditions d'une reconsidération ne sont pas remplies.
D'autre part, l'éventualité d'une révision procédurale n'entre pas en ligne de compte puisqu'il n'existe aucun fait nouveau ou moyen de preuve nouveau qui serait susceptible de conduire à une appréciation juridique différente du cas d'espèce (<ref-ruling> consid. 2, 292 consid. 2a).
3.- En conséquence, c'est à bon droit que les premiers juges ont annulé la décision par laquelle le recourant a supprimé la rente de l'intimé, dans la mesure où il n'existait aucun motif de révision au sens de l'art. 41 LAI, ni de reconsidération ou de révision procédurale.
4.- S'agissant d'un litige qui concerne l'octroi ou le refus de prestations d'assurance, la procédure est gratuite (art. 134 OJ). En outre, la partie qui obtient gain de cause a droit à des dépens (art. 135 OJ en corrélation avec l'art. 159 OJ). La demande d'assistance judiciaire est dès lors sans objet.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. L'office cantonal genevois de l'assurance-invalidité versera à l'intimé une indemnité de 2500 fr. (y compris la taxe à la valeur ajoutée) au titre de dépens
pour la procédure fédérale.
IV. Le présent arrêt sera communiqué aux parties, à la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité et à
l'Office fédéral des assurances sociales.
Lucerne, le 9 octobre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :