A.- J._, ressortissant français, a été employé du 1er octobre 1984 au 1er avril 1997 comme gardien de la paix par X._. Il est arrivé à Genève en 1997 pour vivre auprès de son épouse suissesse et a été mis au bénéfice d'une autorisation de séjour (permis B) avec la mention "à la recherche d'un emploi".
Le prénommé s'est inscrit à l'Office cantonal genevois de l'emploi (ci-après : l'OCE) et a sollicité, par demande du 20 mai 1997, des indemnités de chômage dès le 1er avril 1997. Un délai-cadre d'indemnisation a été ouvert en faveur de l'intéressé, dès le 1er mai 1997, date à partir de laquelle il a perçu des indemnités.
B.- Par décision du 6 avril 1999, la Caisse cantonale genevoise de chômage (ci-après : la caisse) a nié le droit de J._ à des indemnités de chômage à partir du 1er mai 1997, au motif qu'il était de nationalité française et n'avait pas réalisé six mois d'activité salariée en Suisse depuis son arrivée dans ce pays. En outre, elle a demandé au prénommé le remboursement de la somme de 33 445 fr. 70 net, représentant 436 indemnités journalières perçues indûment du 1er mai 1997 au 31 décembre 1998, par décision du 3 juin 1999 dont elle a suspendu l'exécution jusqu'à droit connu quant à sa décision du 6 avril 1999.
Le 25 octobre 1999, l'OCE a rejeté la réclamation que l'assuré avait formée contre la première décision de la caisse du 6 avril 1999.
C.- J._ a déféré la décision de l'OCE à la Commission cantonale genevoise de recours en matière d'assurance-chômage qui l'a débouté par jugement du 28 juin 2001.
D.- J._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. Il conclut en particulier à ce que son droit aux indemnités perçues soit confirmé.
La caisse conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer.

Considérant en droit :
1.- La contestation a pour objet la décision de la caisse intimée du 6 avril 1999 par laquelle elle a rétroactivement nié le droit du recourant à l'indemnité de chômage à partir du 1er mai 1997. L'objet de la contestation se limite donc au point de savoir si le recourant réalisait les conditions du droit à l'indemnité de chômage (<ref-law>) à partir de cette date-là.
Dans la présente procédure, la tâche de l'autorité cantonale (puis fédérale) de recours consiste dès lors exclusivement à trancher le point de savoir si les conditions du droit à la prestation sont remplies. En revanche, la question de la restitution des prestations sous l'angle de la reconsidération ou de la révision procédurale doit être examinée dans la procédure de restitution initiée par la décision de l'intimée du 3 juin 1999 (cf. <ref-ruling> consid. 2b/cc, DTA 2001 148 consid. 1b). Dans cette mesure, l'argumentation du recourant selon laquelle la décision litigieuse est intervenue au-delà du délai de "prescription" d'une année prévue à l'<ref-law> et doit céder le pas devant sa bonne foi n'a pas à être discutée ici. C'est en effet seulement dans le cadre de l'examen de la décision du 3 juin 1999 que les questions qu'il soulève en relation avec la péremption du droit de répétition et la bonne foi devront, si nécessaire, être examinées.
2.- Les premiers juges ont correctement exposé les dispositions légales relatives aux conditions du droit à l'indemnité de chômage et à la libération de celles-ci, si bien qu'il suffit de renvoyer au jugement entrepris sur ce point.
3.- Comme l'ont à juste titre retenu l'intimée et l'autorité cantonale de recours, les conditions du droit à l'indemnité de chômage ne sont pas réunies en l'espèce, dès lors que le recourant ne remplit pas les conditions relatives à la période de cotisation, ni n'en est libéré (art. 8 al. 1 let. e LACI).
a) D'une part, le recourant n'a pas exercé une activité soumise à cotisation durant au moins six mois dans les deux ans avant l'ouverture de son délai-cadre d'indemnisation, le 1er mai 1997 (<ref-law>). En effet, il ressort du dossier qu'il n'a pas exercé d'activité lucrative en Suisse avant de s'y installer le 21 mars 1997.
D'autre part, il ne peut pas se prévaloir des conditions de libération relatives à la période de cotisation prévue à l'art. 14 al. 3, 2ème phrase, LACI, précisées par l'<ref-law> (étant entendu que les autres situations visées par l'<ref-law> n'entrent pas en ligne de compte en l'occurrence). Selon l'<ref-law>, les étrangers établis qui sont de retour en Suisse après un séjour de plus d'un an à l'étranger sont, après leur retour, libérés durant une année des conditions relatives à la période de cotisation, dans la mesure où ils peuvent prouver qu'ils ont exercé à l'étranger une activité salariée correspondant à la période de cotisation prévue à l'<ref-law> ou s'ils ont rempli leurs obligations militaires pendant ce temps. Il ressort du texte même de ces dispositions que les conditions de libération relatives à la période de cotisation ne s'appliquent qu'aux étrangers titulaires d'un permis d'établissement (voir Gerhards, Kommentar zum Arbeitslosenversicherungsgesetz [AVIG], vol. I, n. 43 ad art. 14). Si le recourant a certes exercé une activité lucrative en France du 1er octobre 1984 au 31 mars 1997, il ne peut pas être considéré comme "établi" en Suisse, dès lors qu'il n'est pas titulaire d'un permis d'établissement. Par ailleurs, comme l'ont retenu à juste titre les premiers juges, il ne réalise pas non plus la condition du retour en Suisse après un séjour passager à l'étranger, du moment qu'il y a élu domicile pour la première fois à partir du 21 mars 1997 (cf. DTA 1996/97 n° 6 p. 20 consid. 4).
b) En outre, le recourant ne peut se prévaloir des dispositions de la convention d'assurance-chômage entre la Confédération suisse et la République française du 14 décembre 1978 (RS 0.837. 934.91). En effet, ladite convention ne s'applique qu'aux frontaliers de l'un des deux Etats contractants, ainsi qu'aux ressortissants de ces Etats qui retournent prendre domicile dans leur pays d'origine (art. 1er ch. 5, 2 ch. 1, 3 et 7 de la convention). Or, d'une part, le recourant n'a pas le statut de frontalier; d'autre part, il n'est pas titulaire de la nationalité de l'Etat dans lequel il a pris domicile et sollicite les prestations d'assurance-chômage. Partant, il n'est pas soumis au champ d'application de la convention bilatérale d'assurance-chômage.
Il suit de ce qui précède que le recours est mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission cantonale genevoise de recours en matière d'assurance-chômage et au Secrétariat d'Etat à
l'économie.
Lucerne, le 1er mai 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :