A.- Par contrat du 30 janvier 1985, E._ a été engagé par X._, à Paris, en qualité de cadre rattaché au Département international.
Dès le 14 octobre 1996, il a été détaché auprès de Y._ SA, à Genève, pour y occuper un poste de sous-directeur. Le 21 octobre 1996, les parties au contrat susmentionné ont précisé dans un avenant les conditions de ce détachement. Celui-ci était de durée indéterminée; l'employeur pouvait y mettre fin à tout moment, tandis que le salarié pourrait demander son rapatriement après trois années de séjour. L'avenant prévoyait par ailleurs que le salarié serait inscrit, pour le risque de vieillesse, à la Caisse des Français de l'étranger. X._ prenait à sa charge 8,2 pour cent des 15,9 pour cent de cotisations afférentes à ce risque. En outre, l'intéressé continuerait à être assuré aux Caisses de retraites (françaises) auxquelles X._ était affilié, soit l'ARCIL et l'APICIL.
L'ARCIL fait partie de l'Association des régimes de retraites complémentaires (ARRCO), tandis que l'APICIL est membre de l'Association générale des institutions de retraites des cadres (AGIRC). Enfin, l'employé continuerait à bénéficier, également, du contrat "Prévoyance Sociale" souscrit par X._ pour son personnel, pour la couverture des risques de décès et d'invalidité. Il était prévu que l'employeur verserait un montant de 34 300 francs français, payé en France, et qui était destiné à couvrir les cotisations à la charge du salarié pour le maintien de cette prévoyance sociale, sur la base d'un salaire annuel de référence de 379 060 francs français (soit le salaire avant le détachement).
L'avenant contenait par ailleurs la clause suivante à l'intention du salarié:
"Par ailleurs, si la réglementation locale fait obligation de cotiser à un fonds de retraite ou à tout autre organisme de prévoyance de nature similaire et, au cas où lors de votre départ vous pourriez prétendre à un versement quelconque ou à un remboursement de cotisations, seule la partie correspondant à la participation du salarié vous serait acquise, celle correspondant à la part employeur devant être reversée à celui-ci".
Auparavant, le 17 octobre 1996, E._ et Y._ SA avaient signé un contrat dans lequel ils avaient arrêté les conditions de l'engagement auprès de Y._ SA de E._. Le salaire annuel a été fixé à 170 000 francs suisses. Il était notamment prévu une retenue de 6 pour cent au titre de la prévoyance professionnelle (deuxième pilier) "étant entendu" que la part versée par l'employeur ne serait pas acquise au salarié.
B.- Par lettre du 27 juillet 1998, E._ a résilié les rapports de travail tant avec Y._ SA qu'avec X._.
Pendant son détachement auprès de Y._ SA , E._ a été affilié, du 1er novembre 1996 au 1er octobre 1998, à la Fondation de prévoyance en faveur du personnel de Y._ SA et des sociétés connexes (ci-après : la Fondation). La Fondation a régulièrement perçu les cotisations réglementaires de l'assuré et de son employeur.
Le 7 septembre 1998, Y._ SA a informé E._ que sa prestation de sortie auprès de la Fondation s'élevait à 16 985 fr. 10, montant qui représentait les cotisations versées par l'assuré, plus les intérêts. D'après le certificat de sortie établi par la Fondation, la part versée par l'employeur s'élevait, quant à elle, à 33 969 fr. 80. La Fondation a transféré le montant de 16 985 fr. 10 sur un compte de libre passage au nom de l'affilié auprès de la Banque cantonale de Genève.
Elle en a avisé l'assuré par lettre du 30 octobre 1998.
C.- Le 7 juin 1999, E._ a ouvert action contre la Fondation devant le Tribunal administratif du canton de Genève en concluant au transfert par la défenderesse, en plus du montant déjà versé, de la somme de 33 969 fr. 80, plus intérêts à 5 pour cent l'an à partir du 1er octobre 1998, sur un compte de libre passage auprès de la Banque cantonale de Genève.
La Fondation a conclu, principalement, au rejet de la demande. Subsidiairement, elle a conclu à ce que le tribunal lui donne acte qu'elle s'engageait à verser au demandeur la somme de 4666 fr. 30 au titre de prestation de sortie complémentaire. Ce montant représentait, selon la défenderesse, la part de l'avoir de vieillesse qui aurait dû être financée par l'employeur en vertu de la LPP.
Statuant le 10 octobre 2000, le Tribunal administratif a fait entièrement droit aux conclusions du demandeur.
D.- La Fondation interjette un recours de droit administratif dans lequel elle conclut à l'annulation de ce jugement et au rejet de la demande. Subsidiairement, elle réitère son engagement de verser la somme complémentaire de 4666 fr. 30, avec intérêts, "au titre de la prestation de sortie minimale LPP".
E._ conclut, sous suite de dépens, au rejet du recours. Quant à l'Office fédéral des assurances sociales, il propose d'admettre la conclusion subsidiaire de la Fondation.

Considérant en droit :
1.- Le litige concernant le montant d'une prestation de sortie est un litige en matière de prestations d'assurance, de sorte que le pouvoir d'examen du Tribunal fédéral des assurances est déterminé par l'art. 132 OJ. Il n'est ainsi pas limité à la violation du droit fédéral - y compris par l'excès ou l'abus du pouvoir d'appréciation - mais il s'étend également à l'opportunité de la décision attaquée.
Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure et il peut s'écarter des conclusions des parties, à l'avantage ou au détriment de celles-ci (<ref-ruling> consid. 1).
2.- Dans un premier moyen, la recourante soutient que l'intimé, contrairement à ce que retiennent les premiers juges, a présenté une demande d'exemption de l'assurance au sens de l'art. 1er al. 2 OPP 2. L'avenant du 21 octobre 1996 (contrat de détachement) conclu avec la maison mère et le contrat du 17 octobre 1996, conclu avec Y._ SA, qui portaient tous deux la signature de l'intimé, contenaient une telle demande, en raison de la renonciation explicite de l'intimé à la part des cotisations versées par l'employeur. L'intimé savait que les contrats en question avaient été portés à la connaissance de la Fondation, qui les avait "acceptés" par actes concluants. Selon la recourante, les cotisations versées à la Fondation l'ont ainsi été sans cause juridique.
a) Selon l'<ref-law>, sont soumis à l'assurance obligatoire les salariés qui ont plus de 17 ans et reçoivent d'un même employeur un salaire annuel supérieur au montant-limite fixé par l'<ref-law>. L'assurance obligatoire commence en même temps que les rapports de travail (<ref-law>, première partie de la phrase). Les critères juridiques de l'AVS sont déterminants pour décider de la qualité de salarié au sens de la LPP, sans toutefois que le statut de cotisant dans l'AVS soit formellement obligatoire (<ref-ruling> consid. 2a, 115 Ib 41 consid. 4 et les références).
b) Aux termes de l'<ref-law>, le Conseil fédéral définit les catégories de salariés qui, pour des motifs particuliers, ne sont pas soumis à l'assurance obligatoire.
C'est ce qu'il a fait en édictant l'art. 1er OPP 2. Selon l'alinéa 2 de cette disposition de l'ordonnance, les salariés dont l'activité en Suisse n'a probablement pas un caractère durable, et qui bénéficient de mesures de prévoyance suffisantes à l'étranger, seront exemptés de l'assurance obligatoire à condition qu'ils en fassent la demande à l'institution de prévoyance compétente.
Cette règle - qui s'applique uniquement à la prévoyance professionnelle obligatoire selon la LPP - a pour but de coordonner les régimes de prévoyance sur le plan international (Markus Moser, Die Zweite Säule und ihre Tragfähigkeit, thèse Bâle 1992, p. 39). Elle vise certains salariés au service de sociétés étrangères ou d'organisations internationales qui sont déjà affiliés à l'étranger à une institution de prévoyance bien développée (voir à ce sujet le commentaire par l'Office fédéral des assurances sociales du projet de l'OPP 2, août 1983, p. 9). Il s'agit donc principalement de travailleurs détachés en Suisse, pour une durée relativement courte, qui conservent un lien de subordination avec leur employeur d'origine à l'étranger (Jacques-André Schneider, Les régimes complémentaires de retraite en Europe : Libre circulation et participation, 1994, pp. 82 et 363 sv.; voir aussi Ernst-J. Holzapfel, La réglementation relative au détachement de salariés dans les conventions de sécurité sociale conclues par la Suisse, in:
Sécurité sociale 4/1997, p. 226 ss).
L'exemption de l'assurance en vertu de cette disposition réglementaire exige, selon son texte clair ("wenn sie ein entsprechendes Gesuch. .." et "a condizione che ne faccia domanda. ..", selon les versions allemande et italienne) la présentation d'une demande émanant du salarié; l'institution ne peut donc en décider librement, quand bien même les conditions de fond d'une exemption seraient réunies (voir aussi Jürg Brühwiler, Die betriebliche Personalvorsorge in der Schweiz, Berne 1989, p. 271, ch. 20). A cet égard, il existe d'ailleurs un parallélisme entre l'art. 1er al. 2 OPP 2 et l'<ref-law> (Brühwiler, op. cit. , p. 274, ch. 24). D'après cette disposition de la LAVS, ne sont pas assurées les personnes affiliées à une institution officielle étrangère d'assurance-vieillesse et survivants si l'assujettissement à la loi constitue pour elles un cumul de charges trop lourdes :
cette exemption de l'AVS, tout comme celle qui est prévue à l'art. 1er al. 2 OPP 2, est subordonnée à une demande de l'assuré (<ref-ruling> consid. 2a).
La demande d'exemption constitue d'autre part l'exercice d'un droit formateur. Elle est définitive, sous réserve d'un vice de la volonté (Brühwiler, op. cit. , p. 271, ch. 20; Moser, op. cit. , p. 39 sv. et note de bas de page 114). Eu égard au but de protection sociale visé par le principe de la soumission obligatoire des travailleurs à la LPP, la demande d'exemption au sens de l'art. 1er al. 2 OPP 2 doit être formulée de manière explicite et non équivoque. Cette exigence se justifie aussi par le fait qu'il importe de savoir, dès le début des rapports de travail, s'il existe ou non une couverture d'assurance selon la LPP pour le cas où une éventualité assurée se produirait (cf. <ref-ruling> consid. b).
c) En l'espèce, l'argumentation de la recourante, qui voit une demande d'exemption dans la renonciation de l'intimé à la part des cotisations de l'employeur, n'est pas fondée. En fait, les clauses contractuelles invoquées par la recourante n'ont d'autre objet que de limiter les droits de l'assuré, lors du calcul de la prestation de sortie, au montant de ses propres cotisations. Elles ne contiennent aucun élément qui permettrait d'en déduire que l'intimé ait voulu purement et simplement être exempté de l'assurance.
De telles clauses violent certes l'<ref-law>, ainsi que les art. 17 al. 1 et 20 al. 2 du règlement de la recourante, dispositions du règlement selon lesquelles la prestation de sortie correspond à la totalité du compte individuel de l'assuré (avec les contributions de l'employeur).
Le fait que les parties ont en l'occurrence adopté une solution contraire à la loi et au règlement de l'institution de prévoyance n'est pas un indice de nature à démontrer que le salarié désirait être exempté de l'assurance obligatoire selon la LPP. En tout cas, on n'est pas en présence d'une demande explicite et non équivoque de sa part.
3.- A titre subsidiaire, la recourante soutient que l'intimé, pour la prévoyance plus étendue, n'était pas affilié à la Fondation. Elle invoque l'art. 5 al. 1 de son règlement, qui contient une disposition selon laquelle l'affiliation suppose que la personne exerce une activité durable en Suisse et qu'elle ne bénéficie pas de mesures de prévoyance suffisantes à l'étranger. Or, dans le cas particulier, prétend la recourante, ces conditions n'étaient pas remplies. L'activité en Suisse avait un caractère temporaire.
L'intimé pouvait prétendre à une retraite annuelle projetée de 255 082 francs français en vertu de sa couverture à l'étranger. Le taux de remplacement du revenu de retraite, par rapport à un salaire de référence de 379 060 francs français, s'élevait à 67,29 pour cent.
D'après la recourante, cette couverture doit être qualifiée de suffisante au sens du règlement de la Fondation. Par ailleurs, l'affiliation de l'intimé ne pouvait pas résulter d'une convention particulière par laquelle les parties auraient dérogé à l'ordre réglementaire. Une telle dérogation n'était pas possible, en l'absence d'un accord écrit des parties soumis à l'approbation de l'autorité de surveillance.
Elle eût été au demeurant incompatible avec le principe de l'égalité de traitement entre affiliés.
Finalement, la recourante prétend qu'elle se trouvait dans une erreur essentielle quand elle a perçu des cotisations pour le compte de l'intimé, dès lors que celui-ci ne pouvait pas être affilié à la prévoyance professionnelle.
Elle a cru, de bonne foi, que seules les cotisations personnelles de l'assuré donnaient lieu à des obligations juridiques de sa part et qu'elle pouvait ainsi créer un régime spécial en son sein, nonobstant le texte du règlement.
Par la suite, elle aurait constaté son erreur, après consultation d'un juriste spécialisé.
a) Dans le domaine de la prévoyance professionnelle plus étendue (sur cette notion, voir par exemple <ref-ruling> consid. 4b), l'assuré est lié à l'institution de prévoyance par un contrat innommé (sui generis) dit de prévoyance, dont le règlement de prévoyance constitue le contenu préformé, savoir ses conditions générales, auxquelles l'assuré se soumet expressément ou par actes concluants (p. ex. en conservant le règlement reçu, en payant des cotisations ou en acceptant la déduction correspondante sur son salaire). L'interprétation du règlement doit dès lors se faire selon les règles générales qui sont applicables pour interpréter les contrats (<ref-ruling> consid. 4b et les références).
b) La disposition réglementaire invoquée ici par la recourante laisse une très grande liberté d'appréciation aux parties dans l'interprétation qu'il convient de lui donner, quand il s'agit de savoir si l'assuré bénéficie d'une couverture suffisante à l'étranger ou si l'activité en Suisse a un caractère durable. Ces notions ne s'apprécient pas tant selon des critères purement objectifs (non définis en l'occurrence dans le règlement), mais au regard de l'ensemble des circonstances. Il appartient, le cas échéant, à l'institution de prévoyance de procéder à un examen détaillé des conditions de la prévoyance professionnelle à l'étranger. Ainsi, s'il existe une couverture d'assurance à l'étranger et que les parties, néanmoins, concluent le contrat de prévoyance, c'est qu'elles admettent, implicitement tout au moins, que les conditions d'une affiliation sont remplies. Elles considèrent en particulier que la couverture d'assurance à l'étranger n'est pas suffisante, compte tenu des circonstances, et qu'elle est susceptible d'être améliorée. Le seul fait que l'institution de prévoyance puisse, au moment où survient un cas de libre passage ou un cas de prévoyance, avoir une appréciation différente à propos des conditions réglementaires de l'affiliation n'entraîne pas une invalidation du contrat.
Il est ainsi incontestable que les parties ont en l'espèce conclu un contrat de prévoyance, à tout le moins par actes concluants (paiement de cotisations par l'employeur et le salarié, remise de fiches individuelles sur le montant des prestations etc.). Si la recourante entendait se prévaloir de la disposition réglementaire en cause, il lui incombait d'emblée d'en manifester la volonté de manière clairement reconnaissable par l'assuré. Non seulement elle n'en a rien fait, mais elle a démontré, par actes concluants, qu'elle considérait qu'il n'existait aucun obstacle à l'affiliation de l'intimé.
c) C'est à tort, par ailleurs, que la recourante se prétend victime d'une erreur essentielle.
Selon l'<ref-law>, le contrat n'oblige pas celle des parties qui, au moment de le conclure, était dans une erreur essentielle. Est une erreur essentielle, notamment, l'erreur dite de base telle que l'entend l'<ref-law>. Un contractant peut invoquer cette erreur s'il s'est trompé sur un point déterminé qu'il considérait comme un élément nécessaire du contrat et dont l'autre partie a reconnu ou pouvait reconnaître qu'il avait un tel caractère; il faut encore que l'erreur concerne un fait qu'il est objectivement justifié de considérer comme un élément essentiel. L'erreur peut aussi consister dans la méconnaissance d'une situation juridique (<ref-ruling> consid. 3b, 300 consid. 2c, 114 II 139 consid. 2).
En l'occurrence, le moyen soulevé est dépourvu de pertinence. La recourante est une institution de prévoyance qui est gérée en Suisse par des spécialistes reconnus du deuxième pilier. Elle a eu connaissance des conditions du détachement de l'intimé par X._ et des conditions de son engagement par Y._ SA. Dans de telles circonstances, on ne voit pas qu'elle ait pu se faire une représentation inexacte de la situation, notamment juridique, concernant les conditions d'affiliation de l'intimé.
d) Enfin, on ne peut pas retenir que les parties ont dérogé au règlement de la Fondation par une convention particulière.
Pendant la durée du détachement en Suisse de l'intimé, le salaire convenu était de 170 000 francs suisses par an, ce qui correspond, en francs français (selon un cours de change approximatif de 24 francs suisses pour 100 FF) à un montant très largement supérieur au salaire de référence avant le détachement. La pension de retraite qui était garantie à l'intimé en France (environ 61 000 francs suisses par an après conversion en monnaie suisse du montant de la rente projetée de 255 082 francs français) se trouvait proportionnellement réduite. Vu l'importance de la rémunération versée en Suisse et s'agissant d'un cadre supérieur d'un grand établissement bancaire, les parties au contrat de prévoyance pouvaient légitimement considérer comme justifiées des mesures complémentaires de prévoyance.
Elles étaient de surcroît fondées à qualifier de durable l'activité en Suisse de l'intimé, attendu que le détachement était prévu pour une durée indéterminée. Compte tenu du large pouvoir d'appréciation qui est réservé aux parties dans l'interprétation du règlement et qui résulte de l'absence de critères objectifs pour définir le caractère durable de l'activité ou la notion de prévoyance suffisante (supra let. b), l'affiliation de l'intimé ne s'écartait pas des conditions fixées par l'art. 5 al. 1 du règlement de la recourante.
Il est dans ces circonstances superflu d'examiner le cas sous l'angle du respect de la forme requise pour l'adoption d'une convention particulière entre parties ou à la lumière du principe d'égalité de traitement entre les destinataires (voir à ce sujet <ref-ruling> consid. 4b; Hans Michael Riemer, Vorsorge-, Fürsorge- und Sparverträge der beruflichen Vorsorge, in: Innominatverträge, Festgabe zum 60. Geburtstag von Walter R. Schluep, Zurich 1988, p. 237).
4.- La recourante ne peut non plus opposer à l'intimé l'accord conclu avec l'employeur au sujet de la restitution des cotisations d'employeur pour la prévoyance professionnelle plus étendue. En effet, une telle clause se heurte à la règle de l'<ref-law> qui est de droit impératif et elle est, partant, illicite (<ref-ruling> consid. 4; Hermann Walser, Weitergehende berufliche Vorsorge, in :
Schweizerisches Bundesverwaltungsrecht, Soziale Sicherheit, ch. 155 ss).
C'est en conséquence à bon droit que les premiers juges ont condamné la recourante à transférer sur le compte de libre passage de l'intimé une prestation de sortie égale à la totalité du montant atteint au jour du départ par le compte individuel de l'assuré, soit également la part versée par l'employeur, conformément à l'art. 20 du règlement de la Fondation.
5.- Il suit de là que le recours de droit administratif est mal fondé.
Vu la nature du litige (supra consid. 1), la procédure est gratuite (art. 134 OJ).
D'autre part, l'intimé, qui obtient gain de cause, a droit à une indemnité de dépens à la charge de la recourante (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. L'avance de frais versée par la recourante, d'un montant de 3000 fr., lui est restituée.
IV. La recourante versera à l'intimé une indemnité de 2500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
V. Le présent arrêt sera communiqué aux parties, au
Tribunal administratif du canton de Genève et à
l'Office fédéral des assurances sociales.
Lucerne, le 26 septembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier :