A.- G._, né le 11 février 1935, a résilié pour le 30 septembre 1998 le contrat de travail qui le liait à l'entreprise X_ SA. Il s'est établi comme ingénieur indépendant dès le 1er octobre 1998. Affilié pendant la durée de son activité salariée à la CaissedeprévoyanceX_SA(ci-après : la caisse de prévoyance), il a requis de celle-ci le transfert de sa prestation de libre passage à la Fondation de libre passage 2e pilier Banque Y_. La caisse de prévoyance a refusé de donner suite à sa demande et lui a reconnu le droit à une rente de vieillesse de 1549 fr. par mois à partir du 1er octobre 1998. B.- Par mémoire du 30 octobre 1998, G._ a ouvert action devant le Tribunal administratif du canton de Berne, en concluant à ce que la caisse de prévoyance soit tenue de transférer sa prestation de libre passage à la Fondation de libre passage 2e pilier Banque Y_. La caisse de prévoyance a conclu au rejet de l'action. Par jugement du 23 avril 1999, la juridiction cantonale a rejeté la demande. C.- G._ interjette un recours de droit administratif contre ce jugement dont il requiert l'annulation sous suite de frais et dépens, en reprenant ses conclusions de première instance. La caisse de prévoyance conclut au rejet du recours, alors que l'Office fédéral des assurances sociales en propose l'admission. D.- A la demande du juge délégué à l'instruction, le recourant a produit les pièces relatives à la convention passée avec la Fondation de libre passage 2e pilier Banque Y_.