A.- A._ est au bénéfice, depuis le 1er décembre 1997, d'une pension d'invalidité de la Caisse de pensions X._ qui s'élevait en 1998 à 86 099 fr. par an. Il a demandé son affiliation comme indépendant à la Caisse cantonale vaudoise de compensation dès le 1er janvier 1998.
Il n'a cependant réalisé aucun revenu à ce titre en 1998.
Par décision du 29 septembre 2000, la caisse de compensation a fixé, à titre définitif, les cotisations AVS/AI/APG dues par le prénommé comme personne sans activité lucrative pour l'année 1998 et, à titre provisoire, les mêmes cotisations pour la période du 1er janvier 1999 au 30 septembre 2000. Les cotisations étaient calculées sur la base d'une fortune nette de 104 280 fr. et d'un revenu sous forme de rente de 86 099 fr. 20, multiplié par 20. Il en résultait une fortune déterminante arrondie de 1 826 000 fr. La décision précisait que les cotisations étaient fixées provisoirement dès le 1er janvier 1999, dans l'attente d'une communication fiscale pour la période 2001/2002.
Par une nouvelle décision, du 19 janvier 2001, la caisse a fixé, à titre provisoire, les cotisations dues par l'assuré à partir du 1er janvier 2001. Cette décision se fondait sur les mêmes bases de calcul que la décision précédente.
B.- Par jugement du 27 avril 2001, le Tribunal des assurances du canton de Vaud a rejeté les recours formés contre ces décisions par l'assuré.
C.- A._ interjette un recours de droit administratif en concluant, avec dépens, à la réforme du jugement cantonal en ce sens que :
"I. Sont portés en déduction du revenu acquis sous forme
de rente par fr. 86'099.- les intérêts passifs par
fr. 29'967.- et les frais d'immeuble par fr. 11'788.-,
pour aboutir ainsi à un revenu déterminant de
fr. 44'344.- soit une fortune fictive, après multiplication
par 20, de fr. 886'880.- en lieu et place de la
fortune retenue de fr. 1'826'000.-.
II. A cette fortune fictive est ajouté le montant de la fortune effective au 1er janvier 1997, soit fr. 30'349.-, subsidiairement un montant égal à la
moyenne entre fr. 30'349.- au 1er janvier 1997 et
fr. 104'280.- au 1er janvier 1999, soit fr. 67'314.-."
La caisse de compensation conclut au rejet du recours.
Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Bien que les cotisations pour les années 1999 à 2001 aient été fixées provisoirement, les décisions administratives litigieuses, dans la mesure où elles portent sur ces années, sont susceptibles de recours devant l'autorité cantonale compétente (art. 84 et 85 al. 1 LAVS), dont le jugement peut ensuite faire l'objet d'un recours de droit administratif devant le Tribunal fédéral des assurances (art. 97, 98 let. b à h et 98a OJ en corrélation avec l'art. 128 OJ; <ref-ruling> consid. 1).
2.- Les décisions litigieuses n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3.- a) Conformément à l'art. 10 al. 1 LAVS (dans sa teneur en vigueur jusqu'au 31 décembre 2000; RO 2000 2677), les assurés n'exerçant aucune activité lucrative paient une cotisation de 168 fr. (actuellement 324 fr.; cf. aussi l'art. 2 de l'Ordonnance 2000 sur les adaptations à l'évolution des prix et des salaires dans le régime de l'AVS et de l'AI [RS 831. 110]) à 8400 fr. par an suivant leurs conditions sociales. L'art. 10 al. 3 LAVS délègue au Conseil fédéral la compétence d'édicter des règles plus détaillées sur le calcul des cotisations. C'est ce que l'autorité exécutive a fait aux art. 28 à 30 RAVS : elle y concrétise notamment la notion de conditions sociales en prescrivant de fixer les cotisations sur la base de la fortune et du revenu annuel acquis sous forme de rente (art. 28 RAVS). Le Tribunal fédéral des assurances a toujours reconnu la légalité de cette disposition (<ref-ruling> consid. 3a et les références citées).
b) Par un premier moyen, le recourant soutient que ses frais d'entretien d'immeubles, ainsi que les intérêts passifs (intérêts hypothécaires) doivent être déduits du revenu sous forme de rente.
Sauf disposition contraire - inexistante en l'espèce - les dépenses qui constituent un emploi du revenu, c'est-à-dire qui ont servi à la satisfaction de besoins personnels de l'assuré ne sont pas déductibles du revenu sous forme de rente. C'est ainsi que le Tribunal fédéral des assurances a jugé, tout récemment, que la pension alimentaire versée par l'assuré divorcé ou séparé à son ex-conjoint n'était pas déductible du revenu acquis sous forme de rente (ou de la fortune déterminante) selon l'art. 28 RAVS (<ref-ruling>).
Dans cet arrêt, le Tribunal fédéral des assurances a relevé, tout particulièrement, que l'assurance-vieillesse et survivants était fondée sur une conception universaliste, c'est-à-dire une assurance couvrant en principe l'ensemble de la population active et non active professionnellement.
Les personnes sans activité lucrative visées par l'art. 10 al. 1 LAVS ont donc un statut de cotisant au même titre que les assurés qui exercent une activité lucrative, dépendante ou indépendante. Elles disposent d'autres ressources qu'un salaire ou un revenu provenant d'une activité lucrative indépendante. Par l'adoption des art. 10 LAVS et 28 RAVS, il s'est agi de trouver des modalités de perception des cotisations qui tiennent compte de la capacité contributive du débiteur de cotisations, en fonction de ses ressources.
Le fait qu'une pension alimentaire est payée au moyen du revenu acquis sous forme de rente et/ou de la fortune de l'assuré n'est pas en soi un motif suffisant pour établir une distinction avec les autres catégories de cotisants, notamment les assurés exerçant une activité indépendante, pour lesquels la pension versée au conjoint séparé ou divorcé ne saurait, selon le régime légal actuel, être déduite du revenu de l'activité lucrative; il ne se justifie pas, pour la perception des cotisations de l'assurance-vieillesse et survivants, de traiter différemment les assurés en fonction de la provenance de leur revenu (p. 74 consid. 4d/cc).
Ces considérations valent mutatis mutandis en ce qui concerne les intérêts hypothécaires et les frais d'entretien d'immeubles, qui, au demeurant, n'ont en l'occurrence aucun rapport avec l'acquisition du revenu. Comme l'a encore relevé le Tribunal fédéral des assurances dans l'arrêt cité, c'est au législateur qu'il appartient de décider s'il y a lieu ou non d'admettre, dans le domaine de l'assurance-vieillesse et survivants pour les assurés sans activité lucrative seulement ou de manière générale, les déductions qui sont admissibles (p. 74 consid. 4d/dd).
Le moyen soulevé n'est dès lors pas fondé.
4.- Le recourant soutient d'autre part que les premiers juges devaient prendre en considération la fortune déterminante, non au 1er janvier 1999, soit 104 280 fr., mais au 1er janvier 1998, voire au 1er janvier 1997, dates auxquelles le montant de la fortune était sensiblement inférieur au montant précité.
Selon l'art. 29 RAVS (dans sa version en vigueur jusqu'au 31 décembre 2000), la cotisation annuelle est en général fixée pour une période de deux ans (al. 1), sur la base du revenu annuel moyen acquis sous forme de rente d'une période de deux ans elle aussi (comprenant la deuxième et la troisième année antérieures à la période de cotisation) ainsi que d'après la fortune; le jour déterminant pour le calcul de cette dernière est en général le 1er jan- vier de l'année qui précède la période de cotisation (al. 2). Les autorités fiscales cantonales établissent la fortune déterminant le calcul des cotisations des personnes sans activité lucrative sur la base de la taxation cantonale passée en force (al. 3, première phrase).
D'après la jurisprudence, lorsqu'un assuré cesse son activité avec effet au début d'une année paire et en l'absence d'une taxation intermédiaire dans un canton qui pratique la taxation bisannuelle, il faut appliquer par analogie la règle en matière de calcul du capital propre selon laquelle, s'il n'est pas possible d'obtenir une communication fiscale pour la période de cotisation concernée, il convient de se fonder sur la fortune au 1er janvier de l'année qui suit immédiatement celle-ci (<ref-ruling>).
En l'occurrence, l'obligation de cotiser en qualité de personne sans activité lucrative a pris naissance le 1er janvier 1998. La caisse de compensation a pris en compte la fortune déterminante au 1er janvier 1999 car - s'agissant en l'occurrence d'une taxation bisannuelle - elle ne disposait pas d'une communication fiscale déterminant la fortune au 1er janvier 1998.
Cependant, comme le Tribunal fédéral des assurances l'a jugé, pour éviter que, par l'application schématique de cette règle, on aboutisse à une situation contraire au droit, la caisse doit donner l'occasion à l'assuré d'établir la modification éventuelle de la fortune survenue durant l'année écoulée. S'il apparaît, au moins au degré de la vraisemblance requis, que la situation de fortune était sensiblement inférieure au moment où l'obligation de cotiser est née, la caisse devra prendre ce montant en considération pour fixer la cotisation (<ref-ruling> consid. 3b).
En l'espèce, le recourant n'a été invité ni par les premiers juges ni par la caisse à établir l'existence d'une éventuelle modification. On note à cet égard qu'il a pourtant affirmé en procédure cantonale que sa fortune avait augmenté entre 1997 et 1999. C'est pourquoi le jugement attaqué ainsi que les décisions administratives litigieuses doivent être annulés et la cause renvoyée à l'administration pour qu'elle procède d'une manière conforme à cette jurisprudence et, le cas échéant, qu'elle calcule à nouveau le montant des cotisations litigieuses.
5.- La procédure n'est pas gratuite (art. 134 OJ a contrario). Vu l'issue de la cause, les frais seront supportés pour moitié par chacune des parties.
Le recourant a par ailleurs droit à une indemnité de dépens réduite (art. 159 al. 3 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est partiellement admis.
II. Le jugement du Tribunal des assurances du canton de Vaud du 27 avril 2001, ainsi que les décisions de la Caisse cantonale vaudoise de compensation des
29 septembre 2000 et 19 janvier 2001, sont annulés.
III. La cause est renvoyée à la Caisse cantonale vaudoise de compensation pour qu'elle procède conformément aux considérants et rende de nouvelles décisions.
IV. Les frais de la cause, d'un montant de 800 fr., sont mis pour moitié à la charge du recourant et de l'intimée. La part à la charge du recourant est
compensée par l'avance de frais de 800 fr. qu'il a
versée. Le solde de cette avance, par 400 fr., lui est
restitué.
V. La Caisse cantonale vaudoise de compensation versera
au recourant une somme de 1000 fr. (y compris la taxe
à la valeur ajoutée) à titre de dépens pour la procédure
fédérale.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 16 octobre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :