A.- A._, né en 1937, et son épouse B._, née en 1936, ont quitté le canton de Zurich pour s'établir dans le canton de Vaud au mois de mars 1998. Ils sont affiliés à la Caisse cantonale vaudoise de compensation (ci-après : la caisse), depuis le 1er avril 1998. Par deux décisions du 20 juillet 1998, la caisse a arrêté, à titre provisoire, à 517 fr. 60 par an les cotisations AVS/AI/APG dues par A._ dès avril 1998 et à 129 fr. 40 celles dues par B._, d'avril à juin 1998, mois durant lequel elle a atteint l'âge d'ouverture du droit à la rente de vieillesse. Aucun des deux assurés n'exerçant une activité lucrative, leurs cotisations respectives ont été fixées sur la base de la fortune nette de 341 000 fr. en chiffres ronds, qui avait été déterminante dans le canton de Zurich. Le 7 septembre 1999, la Commission d'impôt du district X._ a adressé à la caisse une communication fiscale faisant état d'une fortune de 1 393 302 fr. au 12 mars 1998 et 1 487 812 fr. au 1er janvier 1999, pour le couple. Par deux décisions du 5 juin 2000, la caisse a procédé au réajustement des cotisations. Elle a dès lors fixé définitivement à 310 fr. 55 les cotisations de B._ pour la période du 1er avril au 30 juin 1998 et à 931 fr. 70 celles de A._ pour celle d'avril à décembre 1998, compte tenu d'une fortune nette de 696 000 fr., en chiffres ronds, pour chacun des époux. La caisse a, par ailleurs, arrêté provisoirement, sur la base d'une fortune nette de 743 000 fr., à 1345 fr. 80 et à 336 fr. 45 les cotisations dues par A._ de janvier à décembre 1999, respectivement de janvier à mars 2000. B.- Par jugement du 28 décembre 2000, le Président du Tribunal des assurances du canton de Vaud a rejeté les recours formés contre ces décisions par A._. C.- A._ interjette recours de droit administratif contre ce jugement. Il conclut à son annulation et à ce que les deux décisions du 5 juin 2000 soient réformées et les cotisations de chacun des époux calculées sur la base d'une fortune nette de 349 000 fr. La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas déposé de déterminations.