A.- F._ et B._ se sont mariés le 30 août 1956. Leur divorce a été prononcé le 15 décembre 1980 par le Tribunal civil du district de X._. Ratifiant la convention sur les effets accessoires du divorce conclue entre les parties, le tribunal a pris acte de l'engagement de B._ de verser à son ex-épouse une pension indexée de 500 fr. par mois. B._ est entré au service des Chemins de fer fédéraux suisses (CFF) le 28 octobre 1946. Il a été affilié à la Caisse de pensions et de secours des Chemins de fer fédéraux suisses (ci-après : la CPS) à partir du 1er novembre 1947. Dès le 1er octobre 1977, il a été mis au bénéfice d'une pension d'invalidité de la CPS, après 31 années de service. B._ est décédé le 7 octobre 1996. Par lettre du 10 novembre 1996, F._ a demandé à la CPS de lui verser une rente de veuve. La CPS a refusé, au motif que le défunt n'avait jamais été soumis à la prévoyance professionnelle obligatoire selon la LPP. B.- Par écriture du 23 novembre 1998, F._ a assigné la CPS en paiement d'une rente de veuve. La défenderesse a conclu au rejet de la demande Statuant le 9 mars 2000, le Tribunal des assurances du canton de Vaud a rejeté la demande. C.- F._ interjette un recours de droit administratif dans lequel elle conclut, sous suite de dépens, à l'annulation de ce jugement et à la reconnaissance de son droit à une rente de veuve à partir du 1er novembre 1996. La CPS conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il propose de l'admettre et de renvoyer la cause à l'autorité cantonale pour qu'il fixe le montant de la rente due à la recourante. Au terme d'un échange ultérieur d'écritures, les parties ont maintenu leurs conclusions.