A.- S._, C._ et H._ étaient administrateurs de la société P._ SA, dont la faillite a été prononcée le 9 mai 1997. Par décision du 20 janvier 1999, la Caisse de compensation AVS/AI/APG de la Chambre vaudoise du commerce et de l'industrie (ci-après : la caisse) leur a réclamé le paiement du dommage qu'elle avait subi, à raison de 55'679 fr. 75. Les administrateurs n'ont pas formé opposition.
Dans le cadre d'une procédure pénale ouverte à leur encontre, les administrateurs ont reconnu devoir à la caisse la somme de 22'078 fr. 55. Ce montant a été payé à la créancière.
Par lettre du 3 mars 1999, le mandataire de S._ a demandé à la caisse de reconsidérer sa décision du 20 janvier 1999, au motif que son droit d'exiger la réparation du dommage n'avait pas été exercé à temps et était périmé. Par ailleurs, un montant de 22'078 fr. 55 devait être déduit du montant initialement réclamé, de sorte qu'une nouvelle décision devait être rendue.
La caisse, considérant cette lettre comme une opposition tardive à sa décision de réparation du dommage, a refusé d'entrer en matière sur une reconsidération et a répondu qu'elle imputerait le montant déjà payé sur la somme de 55'679 fr. 75. Elle a ensuite fait notifier à S._ un commandement de payer le montant de 33'601 fr. 90, qui a été frappé d'opposition.
Le 6 décembre 1999, le Président du Tribunal de district de Nyon a examiné si la prétention déduite en poursuite avait fait l'objet d'une décision de réparation du dommage entrée en force et, considérant que tel était le cas, levé l'opposition formée par le recourant. Il n'a toutefois prononcé qu'une mainlevée provisoire, au motif que la caisse n'avait pas précisé si elle entendait obtenir une mainlevée définitive.
Par écriture du 16 mars 2000, S._ a ouvert action en libération de dette devant le Tribunal des assurances du canton de Vaud.
B.- Par jugement du 16 juin 2000, ce dernier a refusé d'entrer en matière sur l'action en libération de dette.
C.- S._ interjette recours de droit administratif contre le jugement cantonal, dont il demande l'annulation.
Il conclut à la constatation de la nullité de la décision du 20 janvier 1999 de la caisse, à ce que la créance faisant l'objet de la poursuite et de la décision de mainlevée susmentionnées soit déclarée inexistante et à l'octroi de dépens pour la procédure cantonale. L'intimée conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- La présente procédure n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- Tout en se fondant sur un titre de mainlevée définitive au sens de l'<ref-law>, le Président du Tribunal de district de Nyon a prononcé la mainlevée provisoire de l'opposition formée par le recourant dans la procédure de poursuite engagée par l'intimée. Il n'y a pas lieu d'examiner ici le bien-fondé de ce jugement, qui n'a pas fait l'objet d'un recours. En revanche, il faut déterminer si le recourant dispose d'une action en libération de dette pour faire constater l'inexistence de la créance déduite en poursuite.
a) En règle générale, les prétentions de droit public ne peuvent pas être soumises directement à un tribunal, par voie d'action, mais doivent être déterminées dans une décision administrative sujette à recours (Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2ème édition, Zurich 1998, p. 6 sv., no 16 ss; Pierre Moor, Droit administratif, vol. II: Les actes administratifs et leur contrôle, Berne 1991, p. 347 sv.). Par conséquent, dans le cadre d'une procédure d'exécution forcée, de telles prétentions ne peuvent en principe pas faire l'objet d'une action en libération de dette (arrêt B. non publié du Tribunal fédéral du 5 juillet 1999 [5P. 179/1999], consid. 4b), mais donnent lieu, en cas d'opposition du débiteur, à une mainlevée définitive, aux conditions des art. 80 et 81 LP (Staehelin/Bauer/Staehelin, Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, vol. I, art. 1 - 87 LP, no 46 ad <ref-law>; Dominique Rigot, Le recouvrement forcé des créances de droit public selon le droit de poursuite pour dettes et la faillite, thèse Lausanne 1991, p. 206; Tibère Adler, La mainlevée de l'opposition par une caisse-maladie dans une poursuite pour dettes, in : Droit privé et assurances sociales, Enseignement de 3ème cycle de droit 1989, Fribourg 1990, p. 248 sv.; Knapp/Hertig, L'exécution forcée des actes cantonaux pécuniaires de droit public, [<ref-law>], in : BlSchKG 1986 p. 167).
Toutefois, dans certains domaines du droit administratif, l'instrument de la décision cède le pas à celui de l'action de droit administratif; un juge pourra alors être appelé à se prononcer sur un litige relatif à une prétention de droit public, non pas à la suite d'un recours contre une décision, mais directement à la demande de l'administration ou d'un particulier (Kölz/Häner, op. cit. , p. 6 sv., no 16 ss; Moor, op. cit. , p. 347 sv.).
Tel est le cas, par exemple, en matière de prévoyance professionnelle, pour les contestations relevant de l'<ref-law>, à propos desquelles les institutions de prévoyance n'ont pas de pouvoir de décision (<ref-ruling> consid. 4a). La voie de l'action en libération de dette n'est alors pas exclue, sous réserve de l'autorité de chose jugée dont serait revêtu un jugement rendu préalablement, sur action de droit administratif (dans ce sens Staehelin/Bauer/Staehelin, op. cit. , no 46 ad <ref-law>; Rigot, op. cit. , p. 205 sv., no 190 sv., p. 210 sv., no 193; Adler, loc. cit. , p. 248 sv.; Knapp/Hertig, loc. cit. , p. 167).
b) En l'espèce, il n'y a pas de motif de déroger à la règle générale énoncée ci-dessus et d'admettre la recevabilité d'une action en libération de dette, bien que les prétentions d'une caisse en réparation du dommage au sens de l'<ref-law> fassent l'objet d'une procédure particulière, énoncée à l'<ref-law>. D'après cette disposition, si la caisse de compensation décide de la réparation d'un dommage causé par l'employeur, elle doit notifier à celui-ci une décision contre laquelle il peut former opposition dans les trente jours, auprès de la caisse (al. 1 et 2). Si la caisse de compensation maintient sa décision, elle doit, dans les trente jours également et sous peine de déchéance de ses droits, porter le cas devant l'autorité de recours du canton dans lequel l'employeur a son domicile (al. 3; <ref-ruling> consid. 3).
Cette procédure confère un pouvoir de décision à la caisse vis-à-vis de l'employeur qu'elle déclare responsable : en l'absence d'opposition dans le délai requis, la décision de la caisse entre en force et constitue un titre de mainlevée définitive (<ref-law> en relation avec l'<ref-law>). Le recourant ne saurait remettre en cause une telle décision et trouver dans l'action en libération de dette une alternative à l'opposition prévue par l'<ref-law>. C'est donc à raison que la juridiction cantonale a déclaré irrecevable l'action ouverte par S._.
3.- Le recourant soutient que les premiers juges devaient, sans égard à la recevabilité de sa demande, constater d'office la nullité de la décision de l'intimée du 20 janvier 1999, en raison de la péremption de son droit à demander la réparation du dommage (<ref-law>). Toutefois, la péremption d'un droit, même si elle doit être constatée d'office, est une question de fond. Comme la juridiction cantonale ne devait pas entrer en matière sur l'action du recourant, elle n'avait pas à se prononcer sur la péremption invoquée ni à déterminer si une telle péremption aurait, cas échéant, constitué un motif de nullité de la décision de l'intimée du 20 janvier 1999. Sur ce point également, le recours doit être rejeté.
4.- Enfin, le recourant fait valoir une violation de son droit à soumettre sa cause à un tribunal indépendant et impartial, au sens des art. 29 et 30 Cst et de l'art. 6 par. 1 CEDH. Cependant, la garantie procédurale qu'il invoque intervient dans le cadre de la procédure définie à l'<ref-law>. Si l'employeur visé par une décision de réclamation du dommage entend qu'un juge connaisse de sa cause, il lui appartient de s'opposer à cette décision en temps utile, sans quoi elle entre en force.
Dans la mesure où le recourant conteste l'existence ou l'entrée en force d'une telle décision, voire sa validité, il remet en cause l'existence d'un titre de mainlevée et le bien-fondé du jugement de mainlevée. A cet égard, il lui appartenait d'utiliser les voies de recours prévues par le droit cantonal et fédéral contre ce jugement, subsidiairement d'agir par un recours de droit public au Tribunal fédéral (art. 84 ss OJ; <ref-ruling> consid. 1).
5.- La procédure n'est pas gratuite lorsqu'elle ne porte pas sur l'octroi ou le refus de prestations (art. 134 OJ a contrario). Le recourant, qui succombe, supportera les frais judiciaires (art. 156 al. 1 en liaison avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 3000 fr., sont mis à la charge du recourant et compensés jusqu'à concurrence de 500 fr. avec l'avance de frais qu'il a
versée, le solde de 2500 fr. restant dû.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 15 mars 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
p. le Greffier :