A.- G._, né le 11 février 1935, a résilié pour le 30 septembre 1998 le contrat de travail qui le liait à l'entreprise X_ SA. Il s'est établi comme ingénieur indépendant dès le 1er octobre 1998.
Affilié pendant la durée de son activité salariée à la CaissedeprévoyanceX_SA(ci-après : la caisse de prévoyance), il a requis de celle-ci le transfert de sa prestation de libre passage à la Fondation de libre passage 2e pilier Banque Y_. La caisse de prévoyance a refusé de donner suite à sa demande et lui a reconnu le droit à une rente de vieillesse de 1549 fr. par mois à partir du 1er octobre 1998.
B.- Par mémoire du 30 octobre 1998, G._ a ouvert action devant le Tribunal administratif du canton de Berne, en concluant à ce que la caisse de prévoyance soit tenue de transférer sa prestation de libre passage à la Fondation de libre passage 2e pilier Banque Y_. La caisse de prévoyance a conclu au rejet de l'action.
Par jugement du 23 avril 1999, la juridiction cantonale a rejeté la demande.
C.- G._ interjette un recours de droit administratif contre ce jugement dont il requiert l'annulation sous suite de frais et dépens, en reprenant ses conclusions de première instance.
La caisse de prévoyance conclut au rejet du recours, alors que l'Office fédéral des assurances sociales en propose l'admission.
D.- A la demande du juge délégué à l'instruction, le recourant a produit les pièces relatives à la convention passée avec la Fondation de libre passage 2e pilier Banque Y_.

Considérant en droit :
1.- La contestation en cause - prétention au versement de la prestation de libre passage en lieu et place d'une rente de vieillesse - relève des autorités juridictionnelles mentionnées à l'<ref-law>, tant du point de vue de la compétence ratione temporis (<ref-ruling>, 115 V 228 consid. 1b et les références) que de celui de la compétence ratione materiae (<ref-ruling>, 114 V 105 consid. 1b), et le recours de droit administratif est recevable de ce chef.
2.- a) Selon l'<ref-law>, les hommes ont droit à des prestations de vieillesse dès qu'ils ont atteint l'âge de 65 ans. Les dispositions réglementaires de l'institution de prévoyance peuvent toutefois prévoir que le droit aux prestations de vieillesse prend naissance dès le jour où l'activité lucrative prend fin (art. 13 al. 2 1ère phrase LPP).
En application de cette disposition légale, lerèglementdelacaissedeprévoyance-rédigéenlangueallemande-stipuleàsonart. 8.1.cequisuit :
Der Versicherte hat Anspruch auf eine Altersrente, wenn nach Vollendung des 60. Lebensjahres
a. das Arbeitsverhältnis beendet wird oder
b. der Jahreslohn um mindestens 25 % herabgesetzt wird, spätestens am Monatsersten nach Vollendung des 65. Lebensjahres.
Se fondant sur cette disposition réglementaire, la caisse de prévoyance a alloué au recourant - qui était alors âgé de 63 ans - une rente mensuelle de vieillesse dès le mois suivant la fin de ses relations de travail.
b) Aux termes de l'<ref-law>, si l'assuré quitte l'institution de prévoyance avant la survenance d'un cas de prévoyance (cas de libre passage), il a droit à une prestation de sortie.
A cet égard, le règlement de la caisse de prévoyance intimée précise à son art. 19 quel'assuréadroitàuneprestationdesortiesi, aumomentdelasortie, ilremplitcumulativementlesconditionssuivantes : il dispose d'un avoir d'épargne (let. a), il n'a pas droit à une prestation de prévoyance (let. b) et il quitte la caisse de prévoyance avant sa soixantième année (let. c).
Le recourant soutient que l'<ref-law> lui confère un droit à la prestation de libre passage auquel le règlement de la caisse de prévoyance ne saurait faire obstacle. Aussi bien, il persiste à demander à l'intimée le transfert de la prestation de libre passage à la Fondation de libre passage 2e pilier Banque Y_.
3.- a) La LFLP réglemente notamment le maintien de la prévoyance professionnelle acquise en cas de libre passage. Ainsi, si l'assuré entre dans une nouvelle institution de prévoyance, l'ancienne institution de prévoyance doit verser la prestation de sortie à cette nouvelle institution (<ref-law>). Si l'assuré n'entre pas dans une autre institution de prévoyance, il doit notifier à son institution de prévoyance sous quelle forme admise il entend maintenir sa prévoyance (<ref-law>). A défaut de notification, l'institution de prévoyance verse, au plus tard deux ans après la survenance du cas de libre passage, la prestation de sortie, y compris les intérêts moratoires, à l'institution supplétive (<ref-law>).
Le Conseil fédéral a reçu la compétence de réglementer les formes admises du maintien de la prévoyance (<ref-law>). Selon l'art. 10 al. 1 de l'ordonnance sur le libre passage (OLP), le maintien est prévu sous forme d'une police de libre passage ou d'un compte de libre passage. Dans le premier cas, il s'agit d'assurances de capital ou de rentes, y compris d'éventuelles assurances complémentaires décès ou invalidité, qui sont affectées exclusivement et irrévocablement à la prévoyance et qui ont été conclues auprès d'une institution d'assurance remplissant certaines conditions (<ref-law>). Par comptes de libre passage, on entend des contrats spéciaux qui sont affectés exclusivement et irrévocablement à la prévoyance et qui ont été conclus avec une fondation qui remplit les conditions fixées à l'<ref-law> (<ref-law>).
Les institutions de libre passage (fondations bancaires, institutions d'assurance) ne sont pas des institutions de prévoyance. Elles ne fournissent en effet pas des prestations répondant aux prescriptions sur l'assurance obligatoire (éventuellement aussi des prestations plus étendues selon l'<ref-law>) quand survient une éventualité assurée (invalidité, décès, vieillesse) et elles ne sont pas non plus organisées, financées et administrées conformément à la LPP (<ref-ruling> sv. consid. 3c).
b) Exerçant dès le 1er octobre 1998 une activité indépendante, le recourant, qui ne pouvait entrer dans une autre institution de prévoyance, a manifesté son intention d'ouvrir un compte de libre passage auprès de la Fondation de libre passage 2e pilier de la Banque Y_. Aux termes de l'art. 1er al. 1 de son règlement, cette fondation - qui n'est ainsi pas une institution de prévoyance - reçoit des prestations de libre passage d'institutions de prévoyance professionnelle (IPP) au profit des employés qui quittent l'employeur affilié à cette IPP avant qu'il n'existe un droit aux prestations de prévoyance. La fondation gère pour chaque preneur de prévoyance un compte séparé (art. 2 al. 1 du règlement). La prestation de libre passage peut notamment être exigée par le preneur lorsqu'il a atteint l'âge de la retraite conformément à l'<ref-law> ainsi que dans les cinq ans précédant ou suivant l'âge ordinaire de la retraite (art. 4 let. a du règlement).
Agé de 63 ans et 7 mois lors du commencement de son activité indépendante, G._ serait ainsi en droit d'exiger de cette fondation, pratiquement sans délai, le versement en ses mains de la prestation de libre passage provenant de la caisse intimée.
4.- Selon la jurisprudence rendue à propos des <ref-law> (en matière de prévoyance obligatoire) et 331b al. 1 CO (en matière de prévoyance plus étendue) dans leur teneur avant l'entrée en vigueur de la LFLP (le 1er janvier 1995), le droit à la prestation de libre passage doit être nié lorsque la résiliation du rapport de travail intervient à un âge auquel l'assuré peut, en vertu des dispositions du règlement de prévoyance, prétendre des prestations de vieillesse au titre de la retraite anticipée. Si l'institution de prévoyance prévoit des possibilités de retraite anticipée, le cas d'assurance survient non pas lorsque l'assuré arrive à la limite d'âge de 65 ans pour les hommes, mais dès qu'il atteint l'âge réglementaire de la retraite anticipée. Il n'existe alors plus de droit à obtenir une prestation de libre passage, subsidiaire par rapport aux prestations de vieillesse, dès lors que la résiliation du contrat a lieu à un âge où existe déjà un droit à une prestation de vieillesse, même sous forme de retraite anticipée. La résiliation du rapport de travail donne droit à une prestation de vieillesse lorsqu'elle intervient à un moment où les conditions du droit à la retraite anticipée sont réalisées d'après le règlement, cela quand bien même l'assuré a l'intention d'exercer une autre activité. Si le règlement de la caisse est rédigé, en ce qui concerne la retraite anticipée, sous une forme potestative, cette forme indique seulement que l'assuré peut ou non mettre fin à ses rapports de travail avant l'âge réglementaire normal maximal de la retraite. Cela ne signifie nullement que l'assuré ayant atteint l'âge permettant une retraite anticipée et qui résilie son contrat de travail avant d'attendre l'âge normal de la retraite ait le choix entre une prestation de libre passage ou des prestations de vieillesse (<ref-ruling> consid. 4 et les références).
Malgré les critiques que cette jurisprudence a suscitées (voir Thomas Koller, in: PJA 1995 p. 497 ss), le Tribunal fédéral des assurances l'a confirmée dans un arrêt V. du 28 février 1996 (B 19/95), publié à la RSAS 1998 p. 126, ainsi que dans un arrêt non publié G. du 31 décembre 1996 (B 18/94). S'appuyant sur la doctrine dominante, le tribunal a notamment considéré que la loi manquerait son but de prévoyance si l'intéressé pouvait encore opter pour le versement d'une prestation de libre passage après la réalisation de l'éventualité assurée.
5.- a) Les premiers juges ont considéré que l'entrée en vigueur de la LFLP (et de son ordonnance) n'avait pas apporté de modifications substantielles à la situation qui prévalait avec les anciens <ref-law> et 331b al. 1 CO. Dans ces conditions, il ne se justifiait pas de revenir sur la jurisprudence du Tribunal fédéral des assurances (<ref-ruling> précité).
Le nouveau droit, introduit par la LFLP, a notamment pour but le maintien de la protection acquise en matière de prévoyance obligatoire et facultative, dont il réglemente les diverses formes (passage dans une nouvelle institution, maintien sous d'autres formes, prestation de libre passage, etc. ). La question de savoir s'il est encore possible de soutenir, comme l'a fait la jurisprudence précitée, que la loi manquerait son but de prévoyance si l'assuré était en droit de choisir entre diverses formes de maintien de la prévoyance, alors que la LFLP en organise les modalités, apparaît pour le moins discutable. Elle peut toutefois rester indécise dès lors que pour les raisons qui suivent le recourant n'a pas droit à une prestation de libre passage.
b) L'<ref-law> règle la prestation de sortie. Selon l'alinéa 1 de cette disposition, l'assuré a droit à une prestation de libre passage lors de son départ de l'institution de prévoyance. Ce droit ne peut cependant naître que s'il n'y a pas eu survenance d'un cas de prévoyance (cf. Message concernant le projet de loi fédérale sur le libre passage dans la prévoyance professionnelle vieillesse, survivants et invalidité, FF 1992 III p. 567 ss). Selon la définition qu'en donne l'<ref-law>, le cas de prévoyance survient lorsque l'institution accorde sur la base de son règlement un droit à des prestations lors de l'atteinte de la limite d'âge, ou en cas de décès ou d'invalidité.
Une interprétation conforme à la lettre, au but et au sens de la loi ne permet pas de comprendre que le cas de prévoyance vieillesse pourrait survenir - pour les hommes - uniquement lorsqu'ils ont atteint l'âge de 65 ans révolus. En effet, l'<ref-law> ne règle que les prestations minimales obligatoires de la prévoyance professionnelle, dans la mesure où il fixe que les hommes ont droit à des prestations de vieillesse dès qu'ils ont atteint l'âge de 65 ans. A titre de prestations plus étendues au sens de l'<ref-law>, les institutions de prévoyance ont la faculté d'accorder une rente de vieillesse avant l'âge correspondant à celui de l'AVS. Il en résulte que l'âge fixé par le règlement de l'institution de prévoyance constitue alors la limite d'âge au sens de l'<ref-law>. Ainsi, si le règlement donne droit à des prestations de vieillesse à partir d'une limite d'âge (inférieure à 65 ans) déjà atteinte par l'assuré lorsque les relations de travail prennent fin, le cas de prévoyance est alors donné. Dans cette hypothèse, l'assuré ne saurait se voir reconnaître la faculté de choisir entre l'octroi d'une rente de vieillesse et l'octroi d'une prestation de sortie, car le droit à celle-ci n'a pas pu prendre naissance (cf. Brühwiler, Obligatorische berufliche Vorsorge, in : Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, ch. 94). Cela ne saurait préjuger de l'obligation faite à l'ancienne institution de prévoyance de verser la prestation de sortie à la nouvelle institution aux conditions de l'<ref-law>, question qui ne se pose pas dans le cas particulier.
En l'espèce, le règlement de la caisse intimée fixe, comme on l'a vu, la limite d'âge pour le droit à la prestation de vieillesse à 60 ans révolus. Cela constitue, au regard de la LFLP également, la limite d'âge pouvant donner lieu à un cas de prévoyance. Dès lors que le recourant, âgé de 63 ans et 7 mois lors de la cessation des relations de travail, avait droit à une rente de vieillesse, il ne pouvait, alternativement à celui-ci, prétendre une prestation de libre passage (dont le droit n'a pu naître).
6.- Les premiers juges ont encore considéré que le recourant ne pouvait déduire des correspondances reçues de l'intimée (notamment un décompte de sortie du 18 juin 1998) un droit à la protection de la bonne foi pour obtenir, nonobstant ce qui est prévu dans le règlement, une prestation de sortie. On peut, sur ce point, renvoyer au jugement entrepris (considérant 4.5).
Dans son mémoire, à l'exception d'une allégation toute générale, le recourant n'invoque pas d'argument nouveau susceptible d'amener à d'autres conclusions. On ne voit notamment pas quelles dispositions particulières il aurait prises, en se fiant à ces correspondances, qu'il ne pourrait révoquer sans subir un préjudice.
7.- Le recourant, qui succombe, ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Berne, Cour des affaires de langue française, et à l'Office fédéral des assurances sociales.
Lucerne, le 27 mars 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier :