A.- G._, né en 1934, est au bénéfice d'une pension de retraite de la société X._, qui s'élevait à 99'612 francs. Il est affilié depuis le 1er janvier 1992 à la Caisse cantonale vaudoise de compensation comme personne sans activité lucrative. Il est divorcé depuis 1998. Ses cotisations ont tout d'abord été calculées sur la base d'une fortune déterminante représentant la moitié de la fortune nette du couple, soit 296'500 francs (593'000 francs : 2). La fortune était augmentée de la moitié du revenu sous forme de rente, par 49'806 francs (99'612 francs : 2), multiplié par 20. Le 10 mai 1999, la caisse de compensation a rendu une décision provisoire par laquelle elle a modifié, en raison du divorce des époux, le montant des cotisations dues par l'assuré pour la période du 1er janvier 1998 au 30 juin 1999 (mois au cours duquel l'assuré accomplirait sa 65ème année). Les cotisations ont été fixées sur la base de l'entier de la fortune (593'000 francs) et du revenu sous forme de rente (99'612 francs). Pour la période du 1er janvier 1998 au 31 mars 1999, elles s'élevaient à 7'505 fr. 55; les cotisations (fixées sur les mêmes bases) dues à compter du 1er avril 1999 jusqu'au 30 juin 1999 se montaient à 1'501 fr. 10 au total. La caisse précisait que son calcul serait revu dès réception de nouvelles communications fiscales de l'administration de l'impôt fédéral direct. B.- Par jugement du 30 septembre 1999, le Tribunal des assurances du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré. C.- G._ interjette un recours de droit administratif dans lequel il demande que le montant de ses cotisations soit calculé en fonction "de la rente (qu'il) touche effectivement après déduction des montants versés à l'ex-épouse". La caisse de compensation conclut au rejet du recours. D.- Par lettre du 31 janvier 2001, le juge délégué a invité l'Office fédéral des assurances sociales (OFAS) à se déterminer sur le recours, en particulier sur la prise en compte de la pension alimentaire versée au conjoint divorcé dans le calcul du revenu acquis sous forme de rente. L'office s'est prononcé par écriture du 20 février 2001. Les parties n'ont pas fait usage de la possibilité qui leur a ensuite été donnée de se déterminer sur cette écriture.