A.- A._, né en 1937, et son épouse B._, née en 1936, ont quitté le canton de Zurich pour s'établir dans le canton de Vaud au mois de mars 1998. Ils sont affiliés à la Caisse cantonale vaudoise de compensation (ci-après : la caisse), depuis le 1er avril 1998.
Par deux décisions du 20 juillet 1998, la caisse a arrêté, à titre provisoire, à 517 fr. 60 par an les cotisations AVS/AI/APG dues par A._ dès avril 1998 et à 129 fr. 40 celles dues par B._, d'avril à juin 1998, mois durant lequel elle a atteint l'âge d'ouverture du droit à la rente de vieillesse. Aucun des deux assurés n'exerçant une activité lucrative, leurs cotisations respectives ont été fixées sur la base de la fortune nette de 341 000 fr. en chiffres ronds, qui avait été déterminante dans le canton de Zurich.
Le 7 septembre 1999, la Commission d'impôt du district X._ a adressé à la caisse une communication fiscale faisant état d'une fortune de 1 393 302 fr. au 12 mars 1998 et 1 487 812 fr. au 1er janvier 1999, pour le couple.
Par deux décisions du 5 juin 2000, la caisse a procédé au réajustement des cotisations. Elle a dès lors fixé définitivement à 310 fr. 55 les cotisations de B._ pour la période du 1er avril au 30 juin 1998 et à 931 fr. 70 celles de A._ pour celle d'avril à décembre 1998, compte tenu d'une fortune nette de 696 000 fr., en chiffres ronds, pour chacun des époux. La caisse a, par ailleurs, arrêté provisoirement, sur la base d'une fortune nette de 743 000 fr., à 1345 fr. 80 et à 336 fr. 45 les cotisations dues par A._ de janvier à décembre 1999, respectivement de janvier à mars 2000.
B.- Par jugement du 28 décembre 2000, le Président du Tribunal des assurances du canton de Vaud a rejeté les recours formés contre ces décisions par A._.
C.- A._ interjette recours de droit administratif contre ce jugement. Il conclut à son annulation et à ce que les deux décisions du 5 juin 2000 soient réformées et les cotisations de chacun des époux calculées sur la base d'une fortune nette de 349 000 fr.
La caisse conclut au rejet du recours.
L'Office fédéral des assurances sociales n'a pas déposé de déterminations.

Considérant en droit :
1.- Bien que "provisoire" en tant qu'elle fixe les cotisations dues par le recourant depuis le 1er janvier 1999, la décision du 5 juin 2000 le concernant est, comme celle relative aux cotisations de son épouse, susceptible, dans son ensemble, de recours devant l'autorité cantonale compétente dont le jugement peut ensuite faire l'objet d'un recours de droit administratif devant le Tribunal fédéral des assurances (<ref-ruling> consid. 1 et les références).
2.- Comme aucune prestation d'assurance n'est litigieuse, le Tribunal fédéral des assurances doit se borner à examiner si le jugement de première instance viole le droit fédéral, y compris par l'excès ou par l'abus du pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
Il faut en outre tenir compte de l'art. 114 al. 1 OJ, selon lequel le Tribunal fédéral des assurances n'est pas lié par les conclusions des parties en matière de contributions publiques, lorsque le litige porte sur la violation du droit fédéral ou sur la constatation inexacte ou incomplète des faits.
3.- a) Les assurés n'exerçant aucune activité lucrative paient une cotisation AVS de 324 fr. à 8400 fr. par an, en fonction de leurs conditions sociales (<ref-law> dans sa teneur en vigueur jusqu'au 31 décembre 2000 [RO 2000 2679], en corrélation avec l'art. 2 des ordonnances 98 et 2000 sur les adaptations à l'évolution des prix et des salaires dans le régime de l'AVS et de l'AI [RO 1997 2222, 1999 2683], applicables en l'espèce).
Exerçant la compétence qui lui est attribuée par l'alinéa 3 de cette disposition, le Conseil fédéral a édicté, aux art. 28 à 30 RAVS, des prescriptions plus détaillées sur le cercle des personnes considérées comme n'exerçant pas d'activité lucrative ainsi que sur le calcul des cotisations. Il a ainsi, en particulier, concrétisé la notion de "conditions sociales" en prescrivant que ces cotisations sont déterminées sur la base de la fortune et du revenu annuel acquis sous forme de rente (<ref-law>; <ref-ruling> consid. 2 et les références). Dans un arrêt récent, le Tribunal fédéral des assurances a confirmé la conformité à la constitution et à la loi de l'<ref-law>, à teneur duquel les cotisations des personnes mariées qui n'exercent aucune activité lucrative, sont déterminées sur la base de la moitié de la fortune et du revenu sous forme de rente du couple (<ref-ruling> consid. 3a et les références).
b) Au sens de l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2000 (RO 2000 1444), sous réserve de la dérogation à son alinéa 1er introduite, pour les années 2000 et 2001, par la modification du 10 novembre 1999 (RO 1999 3044), la cotisation annuelle des personnes sans activité lucrative est, en général, fixée pour une période de deux ans (al. 1) comprenant la deuxième et la troisième années antérieures à la période de cotisations.
La fortune déterminante est établie, en général, au 1er janvier de l'année qui précède la période de cotisations (al. 2), par les autorités fiscales cantonales, sur la base de la taxation cantonale passée en force et en tenant compte des valeurs de répartition intercantonales (al. 3). Les art. 22 à 27 RAVS (relatifs aux cotisations des personnes exerçant une activité lucrative indépendante) sont applicables par analogie (<ref-law>).
c) Par analogie avec l'<ref-law>, relatif à la procédure extraordinaire de fixation des cotisations des personnes exerçant une activité lucrative indépendante, lorsque la fortune d'un assuré non actif a subi une modification importante depuis le jour déterminant, le nouvel état de la fortune sert de base au calcul des cotisations jusqu'au début de la prochaine période ordinaire de cotisations.
La pratique administrative selon laquelle, dans ce contexte, une variation de fortune doit être considérée comme importante lorsqu'il en résulte une augmentation ou une diminution des cotisations d'au moins 25 % n'est pas contraire à la loi (<ref-ruling> et les références). Le Tribunal fédéral des assurances a, par ailleurs, expressément confirmé cette jurisprudence, en relation avec le chiffre 2091 des Directives sur les cotisations des travailleurs indépendants et des personnes sans activité lucrative (DIN) dans l'AVS, AI et APG, dans sa teneur en vigueur jusqu'au 31 décembre 2000 (<ref-ruling> consid. 6b et les références citées).
4.- a) Dans un premier moyen, le recourant soutient que la procédure extraordinaire de fixation des cotisations (<ref-law>), ne s'appliquerait aux assurés non actifs que dans deux hypothèses, non réalisées en l'espèce, soit, d'une part, au moment de la cessation d'une activité lucrative et, d'autre part, dans les cas où l'accroissement ou la diminution de la fortune résulterait de l'une des circonstances limitativement énumérés par l'<ref-law> en relation avec l'augmentation ou la diminution du revenu.
b) Il n'est pas nécessaire d'examiner en l'espèce, où cette disposition ne trouve application que par analogie, si l'énumération des cas dans lesquels une modification des bases de revenu justifie l'application de la procédure extraordinaire, qui figure à l'<ref-law>, est exhaustive ou non. Il appartient en revanche à la jurisprudence de déterminer quelles circonstances, en relation avec les variations de la fortune, sont analogues à celles mentionnées par l'<ref-law> en relation avec les variations du revenu. Le Tribunal fédéral des assurances a ainsi admis que la dissolution du mariage par le divorce ou par le décès de l'un des conjoints, constituait une telle circonstance et justifiait, dans la mesure où il en résultait une augmentation ou une diminution du montant des cotisations de 25 % au moins, l'application de la procédure extraordinaire à un assuré non actif (<ref-ruling> consid. 6b précité).
L'<ref-law> mentionne notamment, comme circonstance justifiant l'application de la procédure extraordinaire aux assurés exerçant une profession indépendante, la disparition ou la naissance d'une source de revenu. Par analogie, il faut admettre, s'agissant des assurés non actifs, que l'accroissement ou la diminution de la fortune résultant de l'aliénation ou de l'acquisition d'un actif, à titre gratuit ou onéreux, justifie également, lorsque la condition quantitative est donnée, l'application de cette procédure.
Or, le recourant ne soutient pas, dans ce contexte, que l'augmentation de la fortune du couple attestée par la communication fiscale du 7 septembre 1999 résulterait, par exemple, exclusivement d'une nouvelle évaluation de certains actifs par l'autorité compétente. Il explique au contraire cette augmentation par la prise en compte, dans le calcul de la fortune du couple, de la maison d'habitation nouvellement acquise grâce au versement anticipé de l'avoir de prévoyance (<ref-law>), dans laquelle il s'est établi avec son épouse depuis leur arrivée dans le canton de Vaud. Ainsi, dès lors que l'augmentation de la fortune fiscale déterminante, qui a pour effet une augmentation des cotisations excédant largement 25 %, résulte de la prise en compte, dans la procédure de taxation fiscale, d'un nouvel actif - l'immeuble acquis grâce à l'avoir de prévoyance -, on ne saurait faire grief à l'administration et aux premiers juges d'avoir appliqué la procédure extraordinaire de fixation des cotisations.
c) Le recourant soutient, dans un second moyen, que le montant des cotisations en cause aurait dû être calculé après déduction de la valeur du mobilier de ménage. Il allègue, dans ce contexte, que, dans la mesure où cet actif est soumis à l'impôt sur la fortune dans le canton de Vaud et non dans le canton de Zurich, il en résulterait une inégalité de traitement entre les assurés de ces deux cantons, dont les cotisations sont calculées sur des bases différentes.
Il n'est toutefois pas nécessaire d'examiner si ce grief, qui aura, du reste, perdu toute pertinence après l'entrée en vigueur de l'art. 13 al. 4 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (RS 642. 14) pour les périodes de calcul correspondantes, est fondé en l'espèce. Il suffit en effet de constater que les cotisations qui font l'objet des deux décisions du 5 juin 2000 ont été calculées sur une fortune respectivement de 696 651 fr. et 743 906 fr., si bien que même la déduction d'un montant total de 42 000 fr.
correspondant, selon le recourant, à la valeur du mobilier et des effets personnels du couple, demeurerait sans incidence sur le montant de la fortune déterminant pour le calcul des cotisations, qui doit, en tous les cas, être arrondi aux 50 000 fr. inférieurs (<ref-law>) soit, avec ou sans déduction, à 700 000 fr. pour les années 1999 et 2000, respectivement, 650 000 fr. pour l'année 1998.
Pour le surplus, le montant des cotisations AVS/AI et APG du recourant et de son épouse, calculé sur la base de la fortune déterminante, apparaît conforme aux dispositions légales et réglementaires applicables, soit, en particulier, les <ref-law> (teneur en vigueur depuis le 1er janvier 1997 [RO 1996 2758]), 1bis al. 2 RAI (teneur en vigueur depuis le 1er janvier 1996 [RO 1995 4382]) et 23a al. 2 RAPG (teneur en vigueur depuis le 1er janvier 1996 [RO 1995 4388]), ainsi que les tables des cotisations indépendants et non-actifs éditées par l'Office fédéral des assurances sociales, valables respectivement dès janvier 1998 et janvier 2000, dont l'usage est obligatoire (<ref-law>).
5.- Le recours se révèle ainsi mal fondé.
Le recourant, qui succombe, supportera les frais de la cause (art. 156 al. 1 OJ en corrélation avec l'art. 134 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 600 fr., sont mis à la charge du recourant et sont couverts par l'avance de frais, d'un même montant, qu'il a effectuée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud ainsi qu'à l'Office fédéral des assurances sociales.
Lucerne, le 28 septembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier :