A.- Par jugement du 2 septembre 1997, le Tribunal de district de X._ a prononcé le divorce des époux A._ et C._. Saisi d'une demande en modification de ce jugement, le président du même tribunal, ratifiant une convention passée entre les parties, a pris acte de l'engagement de A._ de verser à son ex-épouse une pension, non indexée, de 6900 fr. par mois, exigible d'octobre 1997 à janvier 2006 inclus (prononcé du 2 décembre 1997).
B.- A._ s'est remarié le 10 décembre 1998 avec B._.
Dès le 1er janvier 1999, tous deux ont été affiliés à la Caisse cantonale vaudoise de compensation comme personnes sans activité lucrative. Le 22 mars 1999, la caisse de compensation a rendu deux décisions provisoires par lesquelles elle a fixé le montant des cotisations à leur charge à partir du 1er janvier 1999. Pour chacun des époux, les cotisations ont été calculées sur la base d'une fortune de 747 000 fr. et d'un revenu sous forme de rente de 83 082 fr., multiplié par 20. Il en résultait une fortune déterminante de 2 408 000 fr. La cotisation annuelle s'élevait à 5538 fr. 60 (frais d'administration compris) par époux. La caisse précisait que la pension versée par A._ à son ex-épouse n'était pas déductible du revenu et que, par ailleurs, le calcul des cotisations serait revu dès réception de nouvelles communications fiscales.
C.- A._, agissant pour lui-même et au nom de son épouse, a recouru contre ces décisions.
Par jugement du 18 mai 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours.
D.- A._ et B._ interjettent un recours de droit administratif dans lequel ils concluent, sous suite de frais et dépens, à la réforme du jugement attaqué en ce sens que la pension versée en faveur de Maria Daengeli soit déductible du revenu soumis à cotisations et qu'en conséquence la fortune déterminante pour le calcul de celles-ci soit fixée à 1 580 000 fr.
La caisse de compensation conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales.

Considérant en droit :
1.- Bien que "provisoire", la décision administrative litigieuse est susceptible de recours devant l'autorité cantonale compétente (art. 84 et 85 al. 1 LAVS; cf. <ref-ruling>), dont le jugement peut ensuite faire l'objet d'un recours de droit administratif devant le Tribunal fédéral des assurances (art. 97, 98 let. b à h et 98a OJ en corrélation avec l'art. 128 OJ).
2.- Comme aucune prestation d'assurance n'est litigieuse, le Tribunal fédéral des assurances doit se borner à examiner si le jugement de première instance viole le droit fédéral, y compris par l'excès ou par l'abus du pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
Il faut en outre tenir compte de l'art. 114 al. 1 OJ, selon lequel le Tribunal fédéral des assurances n'est pas lié par les conclusions des parties en matière de contributions publiques, lorsque le litige porte sur la violation du droit fédéral ou sur la constatation inexacte ou incomplète des faits.
3.- Conformément à l'art. 10 al. 1 LAVS (dans sa teneur en vigueur jusqu'au 31 décembre 2000; RO 2000 2677), les assurés n'exerçant aucune activité lucrative paient une cotisation de 168 fr. (actuellement 324 fr.; cf. aussi l'art. 2 de l'Ordonnance 2000 sur les adaptations à l'évolution des prix et des salaires dans le régime de l'AVS et de l'AI [RS 831. 110]) à 8400 fr. par an suivant leurs conditions sociales. L'art. 10 al. 3 LAVS délègue au Conseil fédéral la compétence d'édicter des règles plus détaillées sur le calcul des cotisations. C'est ce que l'autorité exécutive a fait aux art. 28 à 30 RAVS : elle y concrétise notamment la notion de conditions sociales en prescrivant de fixer les cotisations sur la base de la fortune et du revenu annuel acquis sous forme de rente (art. 28 RAVS). Le Tribunal fédéral des assurances a toujours reconnu la légalité de cette disposition (<ref-ruling> consid. 3a et les références citées).
Jusqu'au 31 décembre 1996, les épouses d'assurés, lorsqu'elles n'exerçaient pas d'activité lucrative, n'étaient pas tenues de payer des cotisations à l'AVS (art. 3 al. 2 let. b aLAVS). Cette situation a été modifiée avec l'entrée en vigueur, le 1er janvier 1997, de la dixième révision de l'AVS, qui a introduit le principe de l'obligation de cotiser pour toutes les personnes sans activité lucrative, dans les limites d'âge fixées par l'art. 3 al. 1 LAVS (cf. <ref-ruling> consid. 1b). Aussi bien l'art. 28 al. 4 RAVS (introduit par le ch. I de l'ordonnance du 29 novembre 1995, en vigueur depuis le 1er janvier 1997 [RO 1996 668]) prévoit-il que si une personne mariée doit payer des cotisations comme personne sans activité lucrative, ses cotisations sont déterminées sur la base de la moitié de la fortune et du revenu sous forme de rente du couple. Cette disposition a été jugée conforme à la loi par le Tribunal fédéral des assurances (<ref-ruling>).
4.- Est seul litigieux, en l'espèce, le point de savoir si la pension versée à l'ex-épouse de l'assuré est ou non déductible du revenu déterminant pour le calcul des cotisations des recourants.
a) La notion de revenu acquis sous forme de rente doit être comprise dans un sens très large, faute de quoi des prestations importantes échapperaient souvent à l'obligation de cotiser, motif pris qu'il ne s'agit ni d'une rente à proprement parler, ni d'un salaire déterminant au sens de l'art. 5 al. 2 LAVS. Aussi, le critère décisif n'est-il pas celui de savoir si les prestations perçues présentent plus ou moins les caractéristiques d'une rente, mais bien plutôt celui de savoir si elles contribuent à l'entretien de l'assuré, c'est-à-dire s'il s'agit d'éléments de revenu qui ont une influence sur les conditions de vie de la personne sans activité lucrative. Si tel est le cas, ces prestations doivent être prises en compte dans le calcul des cotisations conformément à l'art. 10 LAVS (<ref-ruling> consid. 3b, 120 V 167 consid. 4a; RCC 1991 p. 434 consid. 3a et les références).
b) Selon une jurisprudence déjà ancienne, la pension alimentaire versée au conjoint divorcé ne peut pas être déduite du revenu sous forme de rente et de la fortune des assurés sans activité lucrative. Les dépenses qui constituent un emploi du revenu ne sont pas déductibles. Le versement d'une pension alimentaire n'est donc pas censé diminuer le revenu acquis sous forme de rente et peut constituer pour un tiers un revenu soumis à son tour à cotisation (ATFA 1960 p. 38).
Cette jurisprudence est critiquée en doctrine. La pension alimentaire versée au conjoint séparé ou divorcé représente un revenu que le débiteur ne peut utiliser pour son entretien personnel. Il en résulte, par ailleurs, une double charge de cotisations, dans la mesure où des cotisations sont prélevées sur le même objet auprès de l'époux crédirentier. Les époux divorcés sont ainsi taxés plus lourdement que s'ils étaient encore mariés. Enfin, le maintien de la jurisprudence en cause n'est plus soutenable au regard de l'évolution législative relative au traitement fiscal des pensions alimentaires (sur ces divers points, voir Hanspeter Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2ème édition, p. 229 sv., ch. 10.31 ss; Ueli Kieser, Alters- und Hinterlassenenversicherung in : Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, ch. 72 et note en bas de page no 357; du même auteur, Die Abgrenzung zwischen Erwerbs- und Nichterwerbstätigen [einschliesslich Festsetzung der Beiträge von Nichterwerbstätigen], in : Aktuelle Fragen aus dem Beitragsrecht der AHV, St-Gall 1998, p. 87).
c) En droit fiscal, les dépenses qui constituent un emploi du revenu, c'est-à-dire qui ont servi à la satisfaction de besoins personnels du contribuable, ne sont pas déductibles, sauf disposition expresse. Aussi bien le contribuable ne peut-il porter en déduction de son revenu les dépenses faites pour son entretien et les personnes à sa charge (Christine Jacques, De divers aspects du régime de déduction et d'imposition des pensions alimentaires, RDAF 1998 II p. 330 sv.). C'est en partant précisément de ce principe que la réglementation prévue par l'arrêté sur la perception d'un impôt fédéral direct (AIFD) n'autorisait pas la déduction des pensions alimentaires du revenu du contribuable : celles-ci étaient considérées comme des dépenses analogues aux frais d'entretien du contribuable ou de personnes à sa charge (Jacques, loc. cit. , p. 331); elles étaient en revanche exonérées du revenu du bénéficiaire (art. 21 al. 3 AIFD).
La loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD), en vigueur depuis le 1er janvier 1995 (et qui a abrogé l'AIFD; art. 201 LIFD) institue désormais un système inverse en prévoyant que la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait est imposable (art. 23 let. f LIFD), alors qu'elle est déductible du revenu du débiteur (art. 33 al. 1 let. c LIFD). La loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID) instaure une réglementation analogue (art. 7 al. 4 let. g et 9 al. 2 let. c LHID). Les cantons dont le système s'écartait de la LHID devaient adapter leur législation à cette loi jusqu'à la fin de l'année 2000 (art. 72 al. 1 LHID).
d) Tout récemment, dans un arrêt de principe en la cause G. du 7 mai 2001, prévu pour la publication dans le recueil officiel (H 143/00), le Tribunal fédéral des assurances a jugé qu'il n'y avait pas lieu, en dépit de cette évolution législative du droit fiscal et des critiques doctrinales susmentionnées, de se départir de la jurisprudence de l'arrêt ATFA 1960 p. 38. Le tribunal s'est fondé sur les motifs suivants (infra, let. aa-dd) :
aa) La notion de revenu acquis sous forme de rente selon l'art. 28 RAVS est indépendante de la notion de rente ou de revenu au sens du droit fiscal. Du point de vue de l'AVS, peu importe le régime fiscal auquel est soumis le revenu à prendre en considération (RCC 1991 p. 435 consid. 3c et les références). De même, les déductions admissibles en matière d'AVS ne sont pas identiques à celles prévues par le droit fiscal, en particulier par la LIFD.
Pour le revenu d'une activité indépendante (art. 9 al. 2 LAVS; art. 17 et 18 RAVS), elles correspondent, dans une large mesure, à celles autorisées par la LIFD (art. 27 à 29 LIFD); la différence est en revanche nettement plus marquée en ce qui concerne le revenu tiré d'une activité dépendante, pour laquelle sont seules déductibles, au titre de frais généraux selon l'art. 9 RAVS, les dépenses résultant pour le salarié de l'exécution de son travail, ce qui ne coïncide pas avec les frais professionnels selon l'art. 26 LIFD (sur ces divers points, voir Reto Böhi, Der unterschiedliche Einkommensbegriff im Steuerrecht und im Sozialversicherungsrecht und seine Auswirkungen auf die Beitragserhebung, Berne 2001, pp. 123 ss et 257 ss). Pour les personnes sans activité lucrative, l'art. 28 RAVS se réfère au revenu acquis sous forme de rente, sans prévoir de déductions particulières. Cela s'explique par le fait que la déductibilité des frais est en principe limitée aux dépenses nécessaires ou directement liés à l'obtention du revenu professionnel (cf. Walter Ryser/Bernard Rolli, Précis de droit fiscal suisse, 3e éd., Berne 1994, p. 157).
En outre, certaines déductions générales admises par le droit fiscal (par exemple les primes d'assurance-accidents pour une assurance conclue en faveur de l'exploitant (cf. art. 33 al. 1 let. g LIFD) ne sont pas déductibles du revenu déterminant dans l'AVS (RCC 1986 p. 233). Il en va de même des déductions sociales au sens de l'art. 35 LIFD.
Le droit de l'AVS ne prévoit pas non plus - pour une ou plusieurs catégories de cotisants - la possibilité de déduire du revenu les pensions alimentaires versées à l'ex-conjoint.
En l'absence d'une règle spéciale sur ce point et compte tenu des différences propres à chacun des deux régimes, les innovations législatives en matière d'impôt fédéral direct et d'harmonisation fiscale ne sauraient produire un effet obligatoire dans le régime de l'AVS. En ce domaine il faut donc s'en tenir au principe général selon lequel les pensions alimentaires constituent, sauf disposition contraire - et inexistante en l'espèce - des dépenses analogues aux frais d'entretien du contribuable ou des personnes à sa charge.
bb) Il ne s'agit au demeurant pas d'un cas de double imposition. La double imposition, qui est d'ailleurs une notion de droit fiscal, supposerait, entre autres conditions, la perception d'une contribution auprès de la même personne (identité du contribuable) et un conflit de souveraineté fiscale (cf. Jean-Marc Rivier, Droit fiscal suisse, L'imposition du revenu et de la fortune, 2ème édition 1998, p. 109).
Il est vrai que, revenant sur sa jurisprudence antérieure, le Tribunal fédéral a renoncé exceptionnellement à l'exigence de l'identité des sujets fiscaux, en ce qui concerne précisément le traitement fiscal, dans les rapports intercantonaux, des pensions alimentaires versées à un conjoint divorcé ou séparé pour lui-même et les enfants dont il a la garde. Il s'imposait, en particulier, de mieux tenir compte des liens juridiques et économiques existant encore entre les ex-époux s'agissant des aliments versés par l'un des conjoints à l'autre. Suivant en cela l'évolution du droit dans les cantons et sur le plan fédéral, il convenait donc que le canton de domicile du débiteur renonçât à imposer les montants versés par le jeu d'une déduction; ces montants pouvaient être imposés par le canton de domicile du créancier. Une telle solution était seule susceptible d'éviter que les époux séparés ne fussent imposés plus lourdement que les époux faisant ménage commun (<ref-ruling>; cf. aussi <ref-ruling> et 118 Ia 277; voir également Danielle Yersin, De quelques développements récents de la jurisprudence du Tribunal fédéral en matière d'impôts directs, in Archives 65, p. 363 ss; Jacques, loc.
cit. , p. 332 sv.). Mais ces considérations ne sont pas transposables sans plus au domaine des cotisations AVS, où la finalité contributive est différente, puisqu'il s'agit, pour chacun des conjoints sans activité lucrative, d'acquitter des cotisations qui sont en principe formatrices de rentes.
Au reste, le système critiqué ne conduit pas nécessairement à un double prélèvement de cotisations sur le même objet. Ainsi, quand le conjoint créancier exerce une activité lucrative durable, il paie des cotisations en tant que salarié ou indépendant. Ce peut aussi être le cas s'il exerce une activité lucrative à temps partiel, voire occasionnelle ou intermittente. En effet, d'après l'art. 28bis RAVS, les personnes qui n'exercent pas durablement une activité lucrative à plein temps acquittent les cotisations comme les personnes sans activité lucrative, lorsque, pour une année civile, les cotisations qu'elles paient sur le revenu d'un travail, ajoutées à celles dues par leur employeur, n'atteignent pas la moitié de la cotisation due selon l'art. 28 RAVS; leurs cotisations payées sur le revenu d'un travail doivent dans tous les cas atteindre le montant de la cotisation minimale. Cette règle implique donc un calcul comparatif. Il faut calculer les cotisations de l'assuré en tant que personne dite "active", puis en tant que personne sans activité lucrative, avant de comparer les montants respectifs qui en découlent. Si le premier des montants à considérer n'atteint pas la moitié du second, l'assuré acquittera des cotisations comme personne sans activité lucrative; s'il est équivalent ou supérieur, il sera considéré, selon les cas, comme un salarié ou un indépendant et versera des cotisations en cette qualité (Greber/Duc/Scartazzini, Commentaire des articles 1 à 16 de la loi fédérale sur l'assurance-vieillesse et survivants [LAVS], note 19 ad art. 10 LAVS). Dans cette dernière éventualité, il n'y a pas non plus un double prélèvement de cotisations.
cc) Enfin, l'AVS est fondée sur une conception universaliste, c'est-à-dire une assurance couvrant en principe l'ensemble de la population, active ou non-active professionnellement (Greber/Duc/Scartazzini, op. cit. , note 4 ad art. 10 LAVS). Les personnes sans activité lucrative visées par l'art. 10 al. 1 LAVS ont donc un statut de cotisant au même titre que les assurés qui exercent une activité lucrative, dépendante ou indépendante. Elles disposent d'autres ressources qu'un salaire ou un revenu provenant d'une activité lucrative indépendante. Par l'adoption des art. 10 LAVS et 28 RAVS, il s'est agi de trouver des modalités de perception des cotisations qui tiennent compte de la capacité contributive du débiteur de cotisations, en fonction de ces ressources (Greber/Duc/Scartazzini, op. cit. , note 23 ad art 10 LAVS; Peter Binswanger, Kommentar zum Bundesgesetz über die Alters- und Hinterlassenenversicherung, Zurich 1950 pp. 81-81). Mais le fait qu'une pension alimentaire est payée au moyen du revenu acquis sous forme de rente et/ou de la fortune de l'assuré n'est pas en soi un motif suffisant pour établir une distinction avec les autres catégories de cotisants, notamment les assurés exerçant une activité indépendante, pour lesquels la pension versée au conjoint séparé ou divorcé ne saurait, selon le régime légal actuel, être déduite du revenu de l'activité lucrative (cf. Käser, op. cit. , p. 230 ch. 10.33.). S'il est vrai, de manière générale, qu'une déduction de la pension alimentaire du revenu du débiteur est mieux proportionnée à la capacité contributive de celui-ci (cf. le message du Conseil fédéral du 25 mai 1983 concernant les lois fédérales sur l'harmonisation des impôts directs des cantons et des communes ainsi que sur l'impôt fédéral direct, FF 1983 III 174), il ne se justifie pas, pour la perception des cotisations de l'AVS, de traiter différemment les assurés en fonction de la provenance de leur revenu.
dd) En définitive, c'est au législateur qu'il appartient de décider s'il y a lieu ou non d'admettre dans le domaine de l'AVS, pour les assurés sans activité lucrative seulement ou de manière plus générale, une déduction des pensions alimentaires du revenu du débiteur.
5.- En l'espèce, ces considérations conduisent au rejet du moyen soulevé par les recourants. Le recours de droit administratif se révèle ainsi mal fondé.
Vu la nature du litige, la procédure n'est pas gratuite (art. 134 OJ a contrario). Les frais judiciaires seront supportés par les recourants, qui succombent (art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 1200 fr., sont mis à la charge des recourants et sont compensés avec l'avance de frais qu'ils ont versée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 11 mai 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :