Faits:
A. La société anonyme X._ (ci-après: la société) était affiliée depuis le 1er avril 1988 en tant qu'employeur auprès de la Caisse de compensation des entrepreneurs (ci-après: la caisse). Sa faillite a été prononcée le 25 février 2003 et clôturée le 23 mai suivant en ce qui concerne les dettes générales.
Le 19 décembre 2003, la caisse a adressé à B._, inscrit au registre du commerce en qualité d'administrateur unique de la société, une décision de réparation de dommage portant sur un montant de 170'402 fr. 50. Cette somme correspondait aux cotisations paritaires dues sur les salaires déclarés par la société pour la période courant du mois de mai 2001 au mois de décembre 2002.
Saisie d'une opposition, la caisse a confirmé dans son principe la teneur de sa première décision, réduisant toutefois le montant de sa prétention à 169'335 fr. 95 (décision du 18 mars 2004).
B. Par jugement du 6 décembre 2006, notifié aux parties le 26 avril 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par B._ contre la décision sur opposition du 18 mars 2004.
C. B._ a interjeté un recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il a conclu à l'annulation du jugement entrepris et de la décision sur opposition du 18 mars 2004.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. 1.1 La loi sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395).
1.2 La procédure n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral examine uniquement si l'autorité cantonale de recours a violé le droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation. Il revoit d'office l'application du droit fédéral sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision attaquée, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure. Au surplus, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 132 al. 1 en corrélation avec les art. 104 let. a et b, ainsi que 105 al. 2 OJ).
1.3 La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'assurance-vieillesse et survivants. Le cas d'espèce, qui concerne des cotisations dues pour les années 2001 et 2002, reste néanmoins régi par les dispositions de la LAVS en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (<ref-ruling> consid. 1.2 et les références p. 4).
1.4 Le jugement entrepris expose correctement les dispositions légales et réglementaires, ainsi que les principes jurisprudentiels applicables en matière de responsabilité de l'employeur et des organes de celui-ci, de sorte qu'il suffit d'y renvoyer.
2. Le Tribunal cantonal des assurances a établi, de manière à lier le Tribunal fédéral, que la société X._, dont B._ était l'administrateur unique depuis le mois d'avril 1998, n'a pas satisfait à l'obligation qui lui incombait de payer les cotisations paritaires pour la période courant du mois de mai 2001 au mois de décembre 2002. Les premiers juges ont également relevé que la société faisait l'objet depuis le mois de mai 2001 de poursuites de la part de plusieurs créanciers, dont la caisse pour des cotisations salariales impayées. Le compte pertes et profits de la société au 31 mars 2001 faisait apparaître un recul du bénéfice, lequel était passé de 34'802 fr. 23 pour l'exercice précédent à 27'843 fr. 33. Par la suite, il était fait état d'une perte nette de 44'538 fr. au 31 mars 2002, puis de 425'945 fr. 99 au 31 décembre 2002. Les premiers juges ont enfin noté que les établissements bancaires créanciers avaient suspendu leur ligne de crédit à l'égard de la société au plus tard dans le courant de l'année 2002.
3. 3.1 Pour les premiers juges, l'ensemble de ces faits démontraient une détérioration rapide et manifeste de la situation économique de la société. Tous ces signaux, que le recourant ne pouvait manquer de voir, auraient dû l'inciter à réagir au plus vite. Si le recourant n'a pas ménagé ses efforts pour maintenir en vie la société, notamment en mandatant un expert-comptable et en engageant des négociations avec les établissements bancaires, ces mesures concrètes n'ont été prise qu'à compter du mois de mars 2002, soit presqu'une année après la cessation du paiement des cotisations en mai 2001. B._ a tardé à réagir après avoir cessé de payer les cotisations sociales. Il a en outre continué à payer en parallèle d'autres fournisseurs. Quant à la mauvaise conjoncture invoquée, elle n'était pas de nature à diminuer sa responsabilité: elle aurait dû au contraire l'inciter à être plus prudent dans l'analyse de la situation financière de la société et dans l'évaluation de sa capacité à s'acquitter de ses dettes envers la caisse.
3.2 Sans contester les faits retenus par la juridiction cantonale, le recourant estime que la suspension du paiement des cotisations sociales à la caisse était légitime. A l'époque, il n'avait aucune raison de penser que la situation allait se détériorer irréversiblement. Les difficultés rencontrées par la société n'étaient en effet pas dues à des erreurs de gestion, mais à des facteurs extérieurs indépendants de sa volonté, à commencer par le non-paiement de la part de ses clients de créances très importantes, puis par le changement de politique de crédit des banques. Lorsqu'il a pris conscience de la gravité de la situation, soit au début de l'année 2002, il a pris sans délai des mesures, notamment en s'entourant d'un expert-comptable et en n'hésitant pas à réaliser des biens privés. C'est à tort que les premiers juges ont considéré que les mesures prises étaient tardives et estimé qu'il était objectivement peu probable que celles-ci puissent être de nature à ramener la société dans les chiffres noirs. Malgré les pertes affichées à l'époque, la société présentait encore au 1er mars 2002 un bénéfice au bilan de 42'320 fr. 66, de sorte qu'il pouvait légitimement et objectivement penser pouvoir redresser la situation. Ce n'est que lorsqu'il a constaté que la situation était irrémédiable qu'il a immédiatement déposé le bilan. Il a ainsi démontré avoir toujours été de bonne foi et n'avoir eu aucunement l'intention de porter préjudice à ses créanciers.
4. 4.1 La responsabilité instaurée par l'<ref-law> ne constitue pas un cas de responsabilité causale. Cette disposition légale, aussi bien dans sa teneur en vigueur jusqu'au 31 décembre 2002 que dans celle postérieure à l'introduction de la LPGA, requiert en effet expressément que la violation des prescriptions soit le fruit d'une faute ou d'une négligence grave pour que l'employeur, respectivement les organes de celui-ci, puissent être appelés à réparer un dommage causé à la caisse de compensation. Tout manquement de l'employeur aux obligations qui lui incombent en matière d'AVS ne doit pas nécessairement être assimilé à une faute qualifiée au sens de l'<ref-law>. Ainsi, une intention ou une négligence grave de l'employeur peuvent être exclues s'il démontre, d'une part, avoir retenu le paiement de cotisations sociales pendant une brève période afin de faire face à un manque provisoire de liquidités, et, d'autre part, avoir eu, à l'époque, de sérieuses raisons de penser qu'il pourrait s'acquitter à bref délai des cotisations demeurées impayées. Ce qui est déterminant, ce n'est pas de savoir si l'employeur croyait alors réellement que l'entreprise pouvait être sauvée et que les cotisations seraient payées dans un proche avenir; il s'agit bien plutôt de savoir si une telle attitude était alors défendable, objectivement, aux yeux d'un tiers responsable (<ref-ruling> consid. 4 p. 196; cf. également <ref-ruling> consid. 4b p. 244).
4.2 Les faits allégués par le recourant ne suffisent pas à rendre excusable le comportement qu'il a adopté à l'égard de la caisse. Si l'on peut admettre qu'un employeur, confronté à des difficultés passagères de trésorerie, suspende le paiement des cotisations sociales durant un ou deux mois dans l'attente de rentrées d'argent prévisibles, ce motif ne permet plus de justifier un temps de latence de près de dix mois entre la cessation des paiements et la mise en oeuvre des premières mesures destinées à redresser la situation. Rien n'indique - et le recourant ne le prétend d'ailleurs pas - que durant cette période, la société ait pris des mesures concrètes et immédiates en vue de remplir ses obligations sociales, telles que la réduction de l'effectif de son personnel ou la négociation de solutions transitoires avec ses créanciers (institutionnels ou privés). Selon la liste des poursuites établie par l'Office des Poursuites et Faillites de Y._, la société a fait entre le mois de mai 2001 et le mois de septembre 2002 l'objet de nombreuses poursuites engagées essentiellement par des créanciers institutionnels (Caisse de compensation des entrepreneurs; Caisse d'allocations familiales CAFEV; Caisse nationale suisse d'assurance en cas d'accidents; Administration fédérale des contributions, division principale de la TVA; Administration cantonale des impôts). Dans les rares cas où la société a été mise en poursuite par l'un de ses fournisseurs, ceux-ci ont toujours été désintéressés, contrairement aux créanciers institutionnels. En poursuivant l'exploitation de la société tout en laissant s'accroître l'arriéré de cotisations sociales, le recourant a délibérément choisi de faire supporter à la caisse, ainsi qu'aux autres créanciers institutionnels, le risque inhérent au financement de sa société en difficulté. Le fait que la société ne fut pas en situation comptable de surendettement durant la période en cause importe à cet égard peu, dès lors que les liquidités courantes ne permettaient pas à la société de faire face à ses engagements en matière d'assurances sociales et d'impôts. Ainsi, le tribunal cantonal des assurances n'a pas violé le droit fédéral en retenant que le comportement adopté par le recourant était constitutif d'une négligence grave. Que le recourant ait été intimement convaincu de ses chances de réussite et qu'il ait lui-même subi des pertes personnelles dans la faillite de la société ne sauraient exclure l'existence d'une telle négligence.
5. La procédure étant onéreuse (art. 134 OJ a contrario), les frais judiciaires sont à la charge du recourant qui succombe (art. 156 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif est rejeté.
2. Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 10 décembre 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Piguet