A.- B._ a cessé toute activité lucrative le 31 décembre 1995. Il perçoit une rente de vieillesse depuis le 1er novembre 1998. Par décision provisoire du 12 janvier 1999, la Caisse cantonale vaudoise de compensation (ci-après : la caisse) a fixé à 1'656 fr. 40 le montant des cotisations personnelles AVS/AI/APG dues par le prénommé, en qualité de personne sans activité lucrative, pour la période du 1er janvier au 31 octobre 1998. B.- B._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Il a fait valoir qu'il n'avait pas à payer les cotisations réclamées par la caisse, car jusqu'à l'ouverture du droit de son épouse à sa propre rente de vieillesse, le 1er octobre 1998, celle-ci avait versé, durant l'année 1998, 712 fr. 70 de cotisations personnelles sur les revenus provenant d'une activité indépendante. Or, au prorata de dix mois de cotisations, cette somme représentait plus du double de la cotisation annuelle minimale (780 francs en 1998). D'après lui, l'obligation de cotiser ne porte que sur les mois qui précèdent l'ouverture du droit à la rente de vieillesse. En l'occurrence, son assujettissement à l'assurance-vieillesse et survivants en qualité de personne sans activité lucrative ayant pris fin le 31 octobre 1998, B._ en déduisait que le montant correspondant au double de la cotisation minimale devait être réduit, dans son cas, à 650 francs (10/12ème de 780 francs). La caisse a conclu au rejet du recours, en considérant que le montant correspondant au double de la cotisation minimale était forfaitaire et qu'il ne pouvait dès lors pas être "adapté pro rata temporis à la période d'assujettissement". Par jugement du 20 mai 1999, le Président du Tribunal des assurances du canton de Vaud a admis le recours formé par B._ et annulé la décision attaquée. C.- L'Office fédéral des assurances sociales (ci-après : l'OFAS) interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. La caisse conclut à l'admission du recours. B._ ne s'est pas déterminé; en revanche, son épouse a conclu au rejet du recours.