A.- Les époux D._ et P._ sont assurés auprès de la Caisse-maladie SUPRA pour l'assurance-maladie obligatoire des soins. Au cours des années 1996, 1997 et 1998, ils ne se sont que partiellement acquittés des primes d'assurance mises à leur charge par cette caisse.
B.- Saisi d'un recours interjeté par les époux contre deux décisions rendues sur opposition par la caisse le 22 novembre 1999, consécutivement au non-paiment des primes en question, le Tribunal des assurances du canton de Vaud astatué :
" I. Le recours est rejeté.
II. La décision attaquée est confirmée en ce sens que D._ est débitrice envers l'intimée de la somme de 615 fr. 60 (six cent quinze francs et
soixante centimes), sans intérêt.
III. La décision attaquée est confirmée en ce sens que P._ est débiteur envers l'intimée des sommes de 909 fr. 60, 1265 fr. 40, 466 fr. 20 et
504 fr. 60, sans intérêts.
IV. L'opposition formée par D._ au commandement de payer no 478209 de l'Office des poursuites de X._ est levée définitivement à concurrence de
615 fr. 60 (six cent quinze francs et soixante
centimes), sans intérêt.
V. L'opposition formée par P._ au commandement
de payer no 483847 de l'Office des poursuites de
X._ est levée définitivement à concurrence de
909 fr. 60 (neuf cent neuf francs et soixante
centimes).
VI. L'opposition formée par P._ au commandement de payer no 483849 de l'Office des poursuites de X._ est levée définitivement à concurrence de
1265 fr. 40 (mille deux cent soixantecinq francs et
quarante centimes).
VII. L'opposition formée par P._ au commandement de payer no 483851 de l'Office des poursuites de X._ est levée définitivement à concurrence de
466 fr. 20 (quatre cent soixante-six francs et vingt
centimes).
VIII. L'opposition formée par P._ au commandement
de payer no 483852 de l'Office des poursuites de
X._ est levée définitivement à concurrence de
504 fr. 60 (cinq cent quatre francs et soixante
centimes).. "
C.- P._ et D._ interjettent un recours de droit administratif dans lequel ils demandent au Tribunal fédéral des assurances de constater que le jugement cantonal est "nul et non avenu dans ses effets et dans son application pour cause de vice de forme". Ils requièrent aussi l'"annulation" des poursuites engagées à leur encontre par la SUPRA.
La SUPRA conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Le litige n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- a) Un des buts principaux de la LAMal est de rendre l'assurance-maladie obligatoire pour l'ensemble de la population en Suisse (<ref-ruling> consid. 5b). Aussi bien l'<ref-law> pose-t-il le principe de l'obligation d'assurance pour toute personne domiciliée en Suisse, ce qui est le cas des recourants.
D'autre part, les assureurs doivent faire valoir leurs prétentions découlant des obligations financières de l'assuré (paiement des primes selon les <ref-law> et des participations selon l'<ref-law>) par la voie de l'exécution forcée selon la LP ou éventuellement par celle de la compensation (message du Conseil fédéral concernant la révision de l'assurance-maladie du 6 novembre 1991, FF 1992 I 124 ad art. 4). L'<ref-law> prévoit ainsi que les décisions et décisions sur opposition au sens des <ref-law> qui portent condamnation à payer une somme d'argent ou à fournir des sûretés sont assimilées aux jugements exécutoires selon l'<ref-law> (cf. aussi <ref-ruling> consid. 6b).
b) Les recourants ne contestent pas, comme tels, les soldes impayés de primes mis à leur charge par les premiers juges. Ils entendent, en revanche, se soustraire au principe de l'obligation d'assurance. Ils invoquent, à cet égard, une atteinte à la personnalité, qui irait à l'encontre de la liberté d'association, ainsi que de la liberté de conscience et de croyance. Mais leur argumentation est vaine, dès lors que le Tribunal fédéral des assurances est tenu d'appliquer les lois fédérales (art. 191 Cst. ; cf. art. 113 al. 3 et 114bis al. 3 aCst.).
Certes, le Tribunal fédéral des assurances est habiliter à constater dans un arrêt qu'une loi fédérale viole la Constitution, même s'il ne peut pas sanctionner cette violation (cf. Andreas Auer/Giorgio Malinverni/Michel Hottelier, Droit constitutionnel suisse, vol. 1, Berne 2000, p. 649, ch. 1835). Dans le cadre de ce pouvoir limité, il a déjà eu l'occasion de constater que l'obligation d'assurance n'est d'aucune manière contraire à la liberté de conscience et de croyance garantie par l'art. 15 Cst. (RAMA 2000 no KV 99 p. 2 ss consid. 4 et 5). Il ne saurait en aller autrement en ce qui concerne la liberté d'association (art. 23 Cst.). L'affiliation auprès d'un assureur désigné à l'<ref-law> (<ref-law>) est le corollaire de l'obligation d'assurance. Cette affiliation est une condition essentielle de la mise en oeuvre de la LAMal et se justifie donc, à l'évidence, par un intérêt public prépondérant.
Face à cet intérêt, la liberté d'association - plus précisément son aspect négatif, c'est-à-dire le droit de ne pas s'associer - doit en l'occurrence céder le pas (cf. Auer/Malinverni/Hottelier, op. cit. , vol. 2, p. 435).
3.- Il s'ensuit que le recours, manifestement infondé, doit être liquidé selon la procédure simplifiée de l'art. 36a OJ.
4.- Vu la nature du litige, la procédure n'est pas gratuite (art. 134 OJ a contrario). Les frais judiciaires seront supportés par les recourants, qui succombent (art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 1200 fr., sont mis à la charge des recourants et sont compensés avec les avances de frais qu'ils ont versées.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 26 juin 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :