A.- S._, de nationalité danoise, domicilié à Genève avec son épouse, a travaillé au service de X._ d'octobre 1961 à fin décembre 1993. Le 1er janvier 1994, il a été nommé officier de liaison industrielle du Danemark pour X._ par le Ministère danois de la recherche et X._. Il est au bénéfice d'un permis C depuis le 23 février 1994. Du 1er janvier 1994 à fin juillet 1997, il a travaillé en tant que directeur d'une association danoise, Y._, qui regroupe des industries désireuses de conclure des contrats d'approvisionnement avec X._. Le contrat passé avec cette association prévoyait qu'il n'incombait pas à l'employeur de payer d'éventuelles charges sociales. Par la suite, il aurait travaillé à son compte, pendant une brève période pour X._, en qualité de consultant.
Jusqu'à fin décembre 1993, S._ n'a pas été assujetti à l'AVS, mais a payé des cotisations à la sécurité sociale de X._. Il n'a pas payé de cotisations sociales par la suite, ni d'ailleurs son employeur.
Par trois décisions du 28 mai 1998, la Caisse cantonale genevoise de compensation (ci-après : la caisse) a fixé ses cotisations AVS/AI/APG/AC pour l'activité qu'il a déployée en qualité de directeur de l'association X._, y compris les intérêts moratoires arrêtés au 30 avril 1998, comme suit :
- pour 1995 à 9505 fr. 55 (salaire annuel de 66 740 fr. 95)- pour 1996 à 9465 fr. 65 (salaire annuel de 70 150 fr. 55)- pour 1997 à 9450 fr. 10 (salaire annuel de 74 186 fr.)
B.- Par trois actes séparés du 29 juin 1998, S._ a recouru contre ces décisions devant la Commission cantonale genevoise de recours en matière d'AVS/AI.
Par jugement du 4 février 2000, après avoir joint les causes, la cour cantonale a admis partiellement les trois recours formés par S._. Se référant, notamment, à une détermination de l'Office fédéral des assurances sociales (ci-après : OFAS) du 3 septembre 1999, elle a jugé en bref que si le prénommé pouvait être assimilé à un travailleur d'un service officiel - l'association Y._ - pour la période de 1995 à fin juillet 1997, il ne pouvait être considéré comme un travailleur détaché au sens des dispositions conventionnelles applicables. Il était dès lors redevable des cotisations paritaires pour les années en cause, dans la mesure, cependant, où il avait exercé, en Suisse, ses activités pour l'association Y._. La cause était renvoyée à la caisse pour qu'elle détermine la part de l'activité déployée par S._ en Suisse et qu'elle réduise les cotisations pour 1995 à 1997 pro rata temporis en fonction de l'activité exercée au Danemark. Il lui incombait en outre de fixer à nouveau le montant des cotisations pour 1997, dès lors que le montant du revenu retenu pour 1997 ne correspondait pas à la réalité. La caisse était également invitée à réexaminer le statut de S._ pour la période du 1er août au 30 décembre 1997, dans la mesure où ce dernier alléguait avoir travaillé à son compte en tant que consultant. Enfin le montant des intérêts moratoires devait faire l'objet d'un nouveau calcul.
C.- S._ interjette un recours de droit administratif contre ce jugement, dont il requiert l'annulation, en demandant, préalablement, à la Cour de céans d'ordonner l'apport du dossier de l'autorité intimée et d'octroyer l'effet suspensif. Il conclut, principalement, à l'exonération du paiement des cotisations AVS/AI/APG/AC.
Subsidiairement, il sollicite l'octroi d'un délai pour "demander à l'autorité danoise compétente la dispense d'application de la convention au recourant et son assujettissement à la loi danoise en matière de sécurité sociale". Très subsidiairement, il requiert le renvoi de la cause à la caisse pour nouveau calcul des cotisations, au motif qu'il a oeuvré en partie au Danemark, lorsqu'il travaillait pour l'association Y._. En tout état de cause, il conteste devoir payer des intérêts moratoires.
La caisse conclut au rejet du recours. Quant à l'OFAS, il ne s'est pas déterminé dans le cadre de la procédure fédérale.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
En l'espèce, la Cour de céans est liée par les faits retenus par les juges cantonaux, dès lors que le recourant ne se plaint pas d'une constatation lacunaire ou erronée des faits pertinents et que ces faits ne sont manifestement pas inexacts.
2.- Sur le plan procédural, le recourant demande au Tribunal fédéral des assurances d'ordonner l'apport du dossier de l'autorité intimée et l'octroi de l'effet suspensif.
Or, d'une part, la Cour de céans sollicite d'office le dossier de la partie intimée, lorsqu'elle est saisie d'un recours de droit administratif et, d'autre part, le recours dirigé contre une décision portant condamnation à une prestation en argent a un effet suspensif en vertu de l'art. 111 al. 1 OJ (RCC 1986 p. 320 s.v.). Sa requête est dès lors sans objet.
3.- a) Le point litigieux est celui de savoir si le recourant est assujetti à l'AVS en Suisse, en ce qui concerne l'activité qu'il a déployée pour le compte de l'association Y._ de 1995 à 1997 .
Le recourant reproche notamment aux juges cantonaux d'avoir violé les articles 7 à 11 de la Convention de sécurité sociale entre la Confédération suisse et le Royaume du Danemark du 5 janvier 1983, entrée en vigueur le 1er décembre 1983 (ci-après : la Convention [modifiée par le premier avenant du 18 septembre 1985, entré en vigueur le 1er octobre 1986, et par le deuxième avenant du 11 avril 1996, entré en vigueur le 1er décembre 1997]).
b) Sont assujetties à l'AVS, notamment, les personnes physiques domiciliées en Suisse (<ref-law>) et les personnes physiques qui exercent en Suisse une activité lucrative (<ref-law>). Des conventions internationales, multilatérales ou bilatérales, peuvent apporter des dérogations aux règles légales internes.
c) L'art. 7 de la Convention consacre le principe de l'affiliation au lieu de travail. Des exceptions sont prévues aux articles 8 à 11. Aux termes de l'art. 8 al. 3 de la Convention, les travailleurs salariés d'un service officiel qui sont détachés de l'un des États contractants sur le territoire de l'autre sont soumis à la législation de l'État qui les a détachés. En vertu de l'art. 11 de la Convention, les autorités de deux États contractants peuvent, sur requête présentée conjointement par l'employeur et le travailleur, convenir de dérogations aux dispositions des art. 7 à 10.
Ces règles conventionnelles directement applicables (cf. dans ce sens <ref-ruling> et 237 consid. 3c, 119 V 177 s.v. consid. 4b) imposent des obligations et confèrent des droits non seulement aux autorités mais aussi aux particuliers. Elles prévalent sur les dispositions de la LAVS relatives à l'assujettissement à l'assurance et l'obligation de cotiser.
d) En l'espèce, il n'est pas contesté que l'employé pour lequel la caisse intimée réclame le paiement des cotisations est un ressortissant danois, domicilié en Suisse et que l'intéressé a déployé en Suisse de 1994 à 1997 une activité pour une association, pouvant être - selon une information fournie par le Ministère social danois à l'OFAS - assimilée à un service officiel au sens de l'art. 8 al. 3 de la Convention. En raison de ces éléments d'extranéité, ce sont les dispositions conventionnelles qui s'appliquent.
Suivant les faits retenus par l'autorité cantonale, le recourant a été fonctionnaire international chez X._ (de 1961) jusqu'au 31 décembre 1993. Domicilié à Genève, il est au bénéfice d'un permis C depuis février 1994. En fait, le recourant était domicilié depuis plus de 30 ans en Suisse, avant de travailler pour l'association Y._; il a obtenu un permis C lorsque ses activités de fonctionnaire pour X._ ont pris fin. Il n'a dès lors pas été détaché au sens de l'art. 8 al. 3 de la Convention pour les besoins de ses fonctions de directeur de Y._, de sorte que cette disposition ne lui est pas applicable pour cette raison déjà (cf. dans ce sens <ref-ruling> consid. 4b).
De surcroît, le recourant ne pouvait pas être considéré comme un salarié au sens de l'art. 8 al. 3, conjointement avec l'art. 1 al. 1 let. g, de la Convention, dès lors qu'il ne bénéficiait que de la pension nationale de vieillesse au Danemark et non de la pension supplémentaire du marché de l'emploi, qui doit être financée par les cotisations des salariés et des employeurs. Or, selon une information donnée à l'OFAS par le Ministère social danois, une activité lucrative d'intérêt officiel ne génère qu'une couverture : celle de la pension sociale de vieillesse, à l'exclusion de la pension supplémentaire du marché de l'emploi. Par ailleurs, le recourant n'a jamais versé de cotisations durant les trois années litigieuses, ni son employeur, l'association Y._.
Il en résulte que deux des conditions de l'art. 8 al. 3 de la Convention n'étaient pas remplies, de sorte que le recourant restait soumis, en ce qui concernait les années 1995, 1996 et 1997, au principe général de l'affiliation au lieu de travail, en vertu de l'art. 7 de la même Convention.
e) Dès lors que le recourant a déployé son activité pour l'association Y._ à la fois en Suisse et au Danemark, il y a lieu de considérer, à l'instar des juges cantonaux, qu'il est affilié aux assurances sociales en Suisse pour l'activité qu'il y a exercée et au Danemark pour son activité dans ce pays (cf. Message du 14 août 1996 concernant le deuxième avenant à la Convention de sécurité sociale du 5 janvier 1983 entre la Suisse et le Danemark, FF 1996 IV 995, sous chiffre 252). Dans ce cadre, devra être pris en considération, notamment, le montant effectif du salaire réalisé par le recourant en 1997, et non le revenu hypothétique retenu par l'intimée. Par ailleurs, il apparaît qu'après la fin des rapports de travail avec Y._, le 31 juillet 1997, le recourant aurait exercé une activité indépendante de consultant jusqu'en décembre 1997, de sorte que son statut durant cette période devra être reconsidéré. Le renvoi de la cause à l'intimée par la cour cantonale pour examen complémentaire de ces points et nouvelle fixation du montant des cotisations est dès lors justifié.
f) La Convention n'étant pas applicable à l'assurance-chômage et à l'assurance perte de gain (cf. art. 3 al. 1), c'est en vertu de la règle générale de l'<ref-law>, conjointement avec l'<ref-law> et avec l'<ref-law>, que le recourant est redevable de cotisations au titre de ces deux assurances.
g) Quant aux intérêts moratoires (dont le montant doit être calculé à nouveau), ils sont dus conformément à l'<ref-law>, indépendamment de la bonne foi du recourant (<ref-ruling> consid. 4a; RCC 1992 p. 178 s.v. consid. 4b).
h) Dans ces circonstances, c'est en vain que le recourant conteste son obligation de verser des cotisations à l'AVS, en faisant valoir que ses rentes actuelles ou futures suffiront largement à son entretien et qu'il touchera, de même que son épouse, une pension entière des assurances sociales danoise à l'âge de 67 ans. Similairement, la circonstance que le montant des cotisations réclamées est disproportionné par rapport à la rente minime qu'il percevra de l'AVS suisse ne lui est d'aucun secours.
En effet, l'obligation de cotiser à l'AVS incombe à toutes les personnes soumises au régime de la sécurité sociale en Suisse.
4.- Le recourant invoque l'application de l'art. 11 de la Convention en sa faveur. Cette disposition prévoit que les autorités compétentes des deux États peuvent, sur requête présentée conjointement par l'employeur et le travailleur, convenir de dérogations aux dispositions des art. 7 à 10.
A cet égard, dans sa détermination du 3 septembre 1999, l'OFAS avait fait observer que le recourant devrait adresser une demande de dérogation au Ministère social danois, qui lui transmettrait le cas échéant le dossier, auquel cas, il serait disposé à examiner aussi une demande concernant les années 1995 à 1997.
Comme dans le cadre de la procédure cantonale - où sa demande de suspension avait été rejetée - le recourant sollicite, à titre subsidiaire, que lui soit octroyé un délai pour requérir une dérogation au sens de l'art. 11 de la Convention.
Or, force est de constater que ses rapports de travail avec l'association Y._ ont pris fin en juillet 1997 et que le recourant aurait eu amplement le temps d'accomplir, depuis lors, les démarches indiquées par l'OFAS et ce, singulièrement entre la date des décisions litigieuses et le dépôt du recours de droit administratif.
Sa conclusion subsidiaire doit dès lors également être rejetée.
5.- Quant à la conclusion très subsidiaire du recourant, elle revient pour l'essentiel à confirmer les conclusions des premiers juges relatives au renvoi de la cause à la caisse, de sorte qu'il n'y a pas lieu d'entrer en matière en ce qui la concerne. Au demeurant, les nouvelles décisions de cotisation que l'intimée est appelée à rendre seront, à leur tour, susceptibles de recours.
6.- Il suit de là que, dans la mesure où il est recevable, le recours de droit administratif est mal fondé.
La procédure, qui ne concerne pas des prestations d'assurance, n'est pas gratuite en l'espèce (art. 134 OJ a contrario). Succombant, le recourant en supportera les frais (art. 156 al. 1 OJ en relation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Dans la mesure où il est recevable, le recours est
rejeté.
II. Les frais de la procédure, consistant en un émolument de justice de 1500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais, d'un
même montant, qu'il a versée.
III. Le présent arrêt sera communiqué aux parties, à la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité et à
l'Office fédéral des assurances sociales.
Lucerne, le 9 octobre 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :