A.- S._ est propriétaire de vignes, qu'il exploite à titre accessoire, dans le canton du Valais, depuis 1995.
Par décision du 11 janvier 2000, la Caisse vaudoise de compensation AVS/AI/APG (ci-après : la caisse) a fixé à
1716 fr. 80 les cotisations AVS/AI/APG dues par l'assuré du 1er janvier 1995 au 31 décembre 1999 et a arrêté à 100 fr.
par trimestre les cotisations dues dès le 1er janvier 2000.
Ces cotisations ont été fixées sur la base d'une communication fiscale du service cantonal des contributions du canton du Valais, faisant état d'un revenu de 5186 fr. pour chacune des années 1995 et 1996 et d'un capital investi de 2680 fr.
B.- S._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Son recours a été rejeté par jugement du 25 août 2000.
C.- L'assuré forme un recours de droit administratif contre ce jugement en concluant à son annulation, sous suite de frais et dépens.
La caisse a conclu au rejet du recours.
Dans une écriture du 21 décembre 2000, S._ a encore produit diverses pièces à l'appui de ses conclusions.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, mais l'obligation du recourant de s'acquitter de cotisations AVS/AI/APG sur le revenu provenant de l'exploitation de ses vignes, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- Selon une jurisprudence constante, que le recourant ne critique pas, les revenus qui échoient au propriétaire d'un domaine viticole, qu'il fait exploiter à son compte, sont soumis à cotisations (<ref-ruling> consid. 5 et les références). Il convient donc uniquement d'examiner en l'espèce le calcul du montant des cotisations dues par le recourant.
3.- Le premier juge a exposé et appliqué les principes régissant le calcul des cotisations, en particulier, les règles applicables lorsque l'assuré débute une activité lucrative indépendante et jusqu'à la prochaine période de cotisations (art. 25 al. 1 et 3 RAVS dans sa teneur en vigueur jusqu'au 31 décembre 2000; RO 2000 1443, 1450). C'est ainsi qu'il a appliqué la procédure extraordinaire de fixation des cotisations pour les années 1995 (année du début de l'activité), 1996 (faute de données fiscales pour la période de calcul 1993-1994) et 1997 (dernière année précédent la nouvelle période de cotisations 1998-1999) et qu'il a retenu applicable la procédure ordinaire pour la période de cotisation 1998-1999, correspondant à la période de calcul 1995-1996 (art. 22 al. 1 et 2 RAVS dans sa teneur en vigueur jusqu'au 31 décembre 2000). Enfin, faute de données fiscales relatives à la période de calcul 1997-1998, la procédure extraordinaire était à nouveau applicable pour la fixation des cotisations dès janvier 2000. Le jugement entrepris ne prête pas flanc à la critique sur ce point, ce que le recourant ne conteste pas non plus. Il ne reste ainsi à examiner que si c'est à tort, comme le soutient le recourant, que l'administration et le premier juge ont admis être liés par les termes de la communication fiscale.
4.- Selon l'<ref-law>, il incombe en principe aux autorités fiscales d'établir, d'une part, le revenu déterminant pour le calcul des cotisations des personnes de condition indépendante - en se fondant sur la taxation passée en force de l'impôt fédéral direct - et, d'autre part, le capital propre engagé dans l'entreprise, en se fondant sur la taxation y relative, passée en force, de l'impôt cantonal. Les caisses de compensation sont liées par les données des autorités fiscales (<ref-law>).
D'après la jurisprudence, toute taxation fiscale est présumée conforme à la réalité; cette présomption ne peut être infirmée que par des faits. Dès lors que les caisses de compensation sont liées par les données fiscales, et que le juge des assurances sociales examine, en principe, uniquement la décision de la caisse quant à sa légalité, le juge ne saurait s'écarter des décisions de taxation entrées en force que si celles-ci contiennent des erreurs manifestes et dûment prouvées, qu'il est possible de rectifier d'emblée, ou s'il s'impose de tenir compte d'éléments de fait sans pertinence en matière fiscale mais déterminants sur le plan des assurances sociales. A cet égard, de simples doutes sur l'exactitude d'une taxation fiscale ne suffisent pas. La détermination du revenu est, en effet, une tâche qui incombe aux autorités fiscales, et il n'appartient pas au juge des assurances sociales de procéder lui-même à une taxation. L'assuré exerçant une activité lucrative indépendante doit donc faire valoir ses droits en matière de taxation - avec les effets que celle-ci peut avoir sur le calcul des cotisations AVS - en premier lieu dans la procédure judiciaire fiscale (<ref-ruling> consid. 4 et 370 s., 106 V 130 consid. 1, 102 V 30 consid. 3a; VSI 1997 p. 26 consid. 2b et la référence).
Il convient encore d'ajouter que, selon la jurisprudence, même dans le cadre de la procédure extraordinaire de fixation des cotisations, qui se caractérise notamment par le fait que la caisse doit fixer elle même le revenu déterminant en considération de toutes les pièces dont elle dispose (<ref-law>), la caisse doit néanmoins, lorsqu'elle a reçu une communication fiscale, déterminer le montant des cotisations sur la base du revenu correspondant de chaque année, tel qu'il ressort de la communication fiscale, si la période de calcul de l'impôt correspond à la période de cotisation (arrêt non publié du 26 juin 1992 dans la cause S., H 231/91). Cette solution se justifie au regard de l'<ref-law>.
5.- a) En l'espèce, les cotisations litigieuses ont été fixées sur la base d'une communication de l'administration fiscale valaisanne dont il ressort que le recourant a été taxé pour les années 1997/1998 sur un revenu annuel de 5186 fr. provenant de l'exploitation de ses vignes durant chacune des années 1995 et 1996. L'autorité fiscale a, par ailleurs, confirmé que cette taxation était entrée en force.
b) Au vu des pièces produites en première instance, on ne saurait reprocher aux premiers juges d'avoir admis à tort être liés par les termes de la communication fiscale et, partant, d'avoir constaté les faits de la cause de manière manifestement inexacte ou incomplète. Il est vrai que les pièces produites par le recourant pouvaient, jusqu'à un certain point, susciter des doutes sur la taxation fiscale qui a servi de base au calcul des cotisations litigieuses; mais cela ne justifie pas encore que le juge s'en écarte, comme on l'a exposé ci-dessus (consid. 4). Il n'incombait pas, en effet, au premier juge, pas plus qu'il n'appartient à la Cour de céans, d'examiner dans le détail, sur la base de factures et de décomptes portant sur plusieurs années, quels revenus ont été réalisés, à quel moment, quelles déductions sont justifiées et sur les revenus de quelle période elle doivent être imputées. Une telle démarche, qui exclut déjà par elle-même qu'une erreur puisse être qualifiée de manifeste, reviendrait en effet à procéder à une nouvelle taxation, ce que n'autorise précisément pas la jurisprudence précitée. C'est, partant, de manière à lier la Cour de céans que le premier juge a nié, en l'espèce, l'existence de telles erreurs et à bon droit qu'il a admis être lié par la taxation fiscale valaisanne.
c) A l'appui de son recours, S._ produit en instance fédérale diverses pièces dont il entend inférer l'existence d'erreurs manifestes pouvant être rectifiées d'emblée qui entacheraient la communication de l'autorité fiscale valaisanne.
Toutefois, dans la mesure où il peut en être tenu compte dans le cadre restreint de l'art. 105 al. 2 OJ, ces pièces ne permettent pas d'établir l'existence de telles erreurs. En ce qui concerne les décomptes de vendange et les factures, il convient de renvoyer à ce qui a été dit à propos des mêmes pièces produites en première instance (consid. 5b ci-dessus). Quant aux déclarations d'impôt vaudoise et valaisanne 1997-1998 produites par le recourant, elles permettent tout au plus de constater que l'autorité fiscale s'est écartée des éléments déclarés par le recourant lors de la taxation, sans que l'on puisse pour autant affirmer que sa décision ait procédé d'une erreur manifeste.
d) Dans une écriture complémentaire du 21 décembre 2000, le recourant a encore produit un lot de pièces. Ces dernières ont cependant été produites hors délai et sans qu'un second échange d'écriture ait été ordonné (art. 110 al. 4 en corrélation avec l'art. 132 al. 1er OJ), si bien qu'elles doivent être écartées sans plus ample examen.
Dans la mesure où le recourant produit des décisions de taxation portant sur les revenus réalisés en 1997 et 1998, il convient toutefois de relever que, dans le cadre de la procédure extraordinaire de fixation des cotisations, une communication fiscale ultérieure ouvre la procédure de rectification prévue par l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2000 et applicable en l'espèce à l'année de cotisation 2000 seulement correspondant à la période de calcul 1997-1998 (cf. alinéa premier des dispositions transitoires de la modification du 1er mars 2000; RO 2000 1443, 1449).
Cela étant, le recours se révèle mal fondé.
6.- La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134a OJ a contrario). Le recourant, qui succombe, supportera les frais de justice (art. 153a et 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant total de 600 fr.
sont mis à la charge du recourant et sont compensés
avec l'avance de frais d'un même montant qu'il a
effectuée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud ainsi qu'à l'Office fédéral des assurances sociales.
Lucerne, le 20 avril 2001
Au nom du
Tribunal fédéral des assurances
p. le Président de la IIe Chambre :
Le Greffier :