Faits: A. Le Restaurant X._ SA (ci-après : la société) a été constitué par inscription au registre genevois du commerce le 26 février 1999. Depuis lors, A._ en a assuré la gestion administrative avant d'en devenir l'administrateur unique avec signature individuelle par inscription du 16 janvier 2003. En qualité d'employeur, la société a été affiliée auprès de la Caisse de compensation GastroSocial (ci-après : la caisse) dès le 1er février 1999. Confrontée à des déficits financiers chroniques, elle n'a plus été à même de s'acquitter envers la caisse de l'intégralité de ses cotisations AVS/AI/APG/AC et elle a fait l'objet de poursuites requises par la caisse dès le mois de mai 2003. Le sursis concordataire qui lui a été accordé avec effet au 15 décembre 2004 a été révoqué le 8 mars 2005 et sa faillite prononcée le 26 avril suivant. La liquidation de la faillite a été suspendue faute d'actifs le 3 juin 2005. Par décision du 20 septembre 2005 confirmée sur opposition le 21 novembre suivant, la caisse a réclamé à A._ la réparation du préjudice subi par 92'989 fr. 05 correspondant au solde des cotisations AVS/AI/APG/AC impayées pour la période courant du 1er janvier 2002 au 31 mars 2005. B. Par jugement du 21 septembre 2006, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par A._. C. Ce dernier a interjeté un recours de droit administratif contre ce jugement dont il a requis l'annulation en concluant à ce que la caisse soit déboutée de ses prétentions. La caisse a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.