Faits: A. La société anonyme X._ (ci-après: la société) était affiliée depuis le 1er avril 1988 en tant qu'employeur auprès de la Caisse de compensation des entrepreneurs (ci-après: la caisse). Sa faillite a été prononcée le 25 février 2003 et clôturée le 23 mai suivant en ce qui concerne les dettes générales. Le 19 décembre 2003, la caisse a adressé à B._, inscrit au registre du commerce en qualité d'administrateur unique de la société, une décision de réparation de dommage portant sur un montant de 170'402 fr. 50. Cette somme correspondait aux cotisations paritaires dues sur les salaires déclarés par la société pour la période courant du mois de mai 2001 au mois de décembre 2002. Saisie d'une opposition, la caisse a confirmé dans son principe la teneur de sa première décision, réduisant toutefois le montant de sa prétention à 169'335 fr. 95 (décision du 18 mars 2004). B. Par jugement du 6 décembre 2006, notifié aux parties le 26 avril 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par B._ contre la décision sur opposition du 18 mars 2004. C. B._ a interjeté un recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il a conclu à l'annulation du jugement entrepris et de la décision sur opposition du 18 mars 2004. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.