A.- S._, C._ et H._ étaient administrateurs de la société P._ SA, dont la faillite a été prononcée le 9 mai 1997. Par décision du 20 janvier 1999, la Caisse de compensation AVS/AI/APG de la Chambre vaudoise du commerce et de l'industrie (ci-après : la caisse) leur a réclamé le paiement du dommage qu'elle avait subi, à raison de 55'679 fr. 75. Les administrateurs n'ont pas formé opposition. Dans le cadre d'une procédure pénale ouverte à leur encontre, les administrateurs ont reconnu devoir à la caisse la somme de 22'078 fr. 55. Ce montant a été payé à la créancière. Par lettre du 3 mars 1999, le mandataire de S._ a demandé à la caisse de reconsidérer sa décision du 20 janvier 1999, au motif que son droit d'exiger la réparation du dommage n'avait pas été exercé à temps et était périmé. Par ailleurs, un montant de 22'078 fr. 55 devait être déduit du montant initialement réclamé, de sorte qu'une nouvelle décision devait être rendue. La caisse, considérant cette lettre comme une opposition tardive à sa décision de réparation du dommage, a refusé d'entrer en matière sur une reconsidération et a répondu qu'elle imputerait le montant déjà payé sur la somme de 55'679 fr. 75. Elle a ensuite fait notifier à S._ un commandement de payer le montant de 33'601 fr. 90, qui a été frappé d'opposition. Le 6 décembre 1999, le Président du Tribunal de district de Nyon a examiné si la prétention déduite en poursuite avait fait l'objet d'une décision de réparation du dommage entrée en force et, considérant que tel était le cas, levé l'opposition formée par le recourant. Il n'a toutefois prononcé qu'une mainlevée provisoire, au motif que la caisse n'avait pas précisé si elle entendait obtenir une mainlevée définitive. Par écriture du 16 mars 2000, S._ a ouvert action en libération de dette devant le Tribunal des assurances du canton de Vaud. B.- Par jugement du 16 juin 2000, ce dernier a refusé d'entrer en matière sur l'action en libération de dette. C.- S._ interjette recours de droit administratif contre le jugement cantonal, dont il demande l'annulation. Il conclut à la constatation de la nullité de la décision du 20 janvier 1999 de la caisse, à ce que la créance faisant l'objet de la poursuite et de la décision de mainlevée susmentionnées soit déclarée inexistante et à l'octroi de dépens pour la procédure cantonale. L'intimée conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.