A.- S._ est propriétaire de vignes, qu'il exploite à titre accessoire, dans le canton du Valais, depuis 1995. Par décision du 11 janvier 2000, la Caisse vaudoise de compensation AVS/AI/APG (ci-après : la caisse) a fixé à 1716 fr. 80 les cotisations AVS/AI/APG dues par l'assuré du 1er janvier 1995 au 31 décembre 1999 et a arrêté à 100 fr. par trimestre les cotisations dues dès le 1er janvier 2000. Ces cotisations ont été fixées sur la base d'une communication fiscale du service cantonal des contributions du canton du Valais, faisant état d'un revenu de 5186 fr. pour chacune des années 1995 et 1996 et d'un capital investi de 2680 fr. B.- S._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Son recours a été rejeté par jugement du 25 août 2000. C.- L'assuré forme un recours de droit administratif contre ce jugement en concluant à son annulation, sous suite de frais et dépens. La caisse a conclu au rejet du recours. Dans une écriture du 21 décembre 2000, S._ a encore produit diverses pièces à l'appui de ses conclusions.