A.- a) A._ travaillait en qualité de vigile depuis 1992. Souffrant de maux de dos intermittents, à la suite d'un accident survenu en 1983, il a été reconnu incapable de travailler à 100 % depuis le 27 octobre 1993 pour une durée indéterminée par son médecin traitant, le docteur B._. Celui-ci a diagnostiqué des lombosciatalgies aiguës sur discopathie, un état anxio-dépressif majeur et des séquelles post-traumatiques d'une fracture du talon gauche (rapport du 31 mai 1994). Il a par ailleurs constaté une aggravation de la sciatalgie, devenant par moments hyperalgique, malgré un traitement soutenu de physiothérapie. A._ n'a plus repris d'activité lucrative. b) Par décisions des 7 août et 1er décembre 1995 de l'Office cantonal genevois de l'assurance-invalidité (ci-après : l'office), le prénommé a été mis au bénéfice, dès le 1er janvier 1994, d'une rente ordinaire simple d'invalidité, assortie de deux rentes pour enfant. Ces décisions se fondaient notamment sur un rapport d'expertise de la Policlinique de médecine de l'Hôpital X._ du 3 février 1995, selon lequel l'assuré était incapable de travailler en raison des douleurs lombaires chroniques et notamment des exacerbations aiguës, fréquentes et non prévisibles de celles-ci, mais que sa capacité de travail pouvait être améliorée par des mesures visant à parfaire sa musculation (école du dos et physiothérapie de musculation active). Les médecins de X._ indiquaient qu'un reclassement professionnel pouvait être envisagé par la suite, mais en tenant compte des limitations fonctionnelles actuelles de l'assuré, à savoir sa limitation dans le port des charges, la nécessité de pouvoir changer de position fréquemment et l'incapacité d'effectuer des marches prolongées. Selon eux, les mesures envisagées permettaient d'espérer une reprise du travail à temps partiel. c) A l'occasion d'une révision d'office, un rapport médical a été demandé au médecin traitant (rapport du docteur B._ du 7 septembre 1996). Par ailleurs, l'assuré a fait l'objet d'une expertise au Centre médical d'observation de l'assurance-invalidité de Lausanne (ci-après : COMAI). Dans leur rapport du 21 avril 1997, les docteurs C._ et D._ ont constaté des troubles statiques et dégénératifs des trois derniers segments de la colonne cervicale. Ils ont en outre estimé que la capacité de travail de l'assuré en tant que vigile était de 80 % au moins, cette activité n'exigeant pas de port de charges lourdes. Se fondant sur cette expertise, l'office a estimé que l'assuré était désormais capable, dans une activité demandant peu d'efforts physiques (gardiennage), de travailler à 80 %, le taux d'incapacité de travail, estimé à 20 %, ne suffisant pas pour maintenir le droit à la rente. Il a, en conséquence, rendu, le 3 juillet 1997, une décision par laquelle il supprimait la rente en cours dès le 1er septembre 1997. B.- L'assuré a recouru contre cette décision devant la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission). Interrogés par la commission sur leur divergence d'appréciation d'avec les experts de X._, les médecins du COMAI ont répondu que leur diagnostic était plus ou moins superposable à celui des experts genevois (prise de position du 26 janvier 1998). Ils ont en outre expliqué que la première appréciation concernant la capacité de travail de l'assuré avait été émise de manière générale (la profession n'était pas indiquée) et qu'elle était provisoire, puisqu'il avait été relevé que cette capacité pouvait être améliorée par des mesures visant à renforcer la musculation. Par jugement du 16 juillet 1998, la commission a admis partiellement le recours en ce sens qu'elle a renvoyé la cause à l'office pour instruction complémentaire sous la forme d'une nouvelle expertise. C.- Se fondant sur un rapport d'expertise du 29 septembre 1999 des docteurs E._ et F._ de l'Hôpital Z._, l'office a, le 25 février 2000, rendu une décision par laquelle il a derechef supprimé le droit de l'assuré à la rente, au motif que cette nouvelle expertise n'avait fait apparaître aucun élément médical objectif empêchant la reprise d'une activité professionnelle. La commission a, par jugement du 23 avril 2001, admis le recours formé par l'assuré contre cette décision et annulé celle-ci. D.- L'office interjette un recours de droit administratif dans lequel il conclut à l'annulation du jugement cantonal et à la confirmation de sa décision du 25 février 2000. A._ conclut au rejet du recours et demande l'assistance judiciaire pour la procédure fédérale. L'Office fédéral des assurances sociales ne s'est pas déterminé.