Faits:
A. La société X._ SA (ci-après: la société), dont le but est l'exploitation d'une entreprise de nettoyage, de désinfection ainsi que tous services s'y rapportant, a été affiliée en tant qu'employeur à la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse) depuis 1997. U._ en était l'administrateur unique depuis 1999.
Rapidement, la société a rencontré des difficultés à faire face à ses obligations en matière d'AVS et autres assurances sociales, de sorte que sommations, plans de paiement et poursuites sont intervenus dès 1999.
Par décision du 30 août 2006, la caisse a réclamé à U._, par l'intermédiaire de son conseil, l'avocat Hervé Crausaz, la réparation du dommage qu'elle encourait en raison de l'insolvabilité de la société - la caisse détenait dix actes de défaut de biens pour un montant total de 65'175 fr. 15 -, soit un montant de 52'307 fr. 85, correspondant aux cotisations sociales restées impayées sur les salaires versés par la société pendant les années 2002 à 2004 (y compris les frais de sommation, de poursuite et les intérêts moratoires). Selon la caisse, la créance en réparation comprenait la part pénale des années 2002 et 2003, à concurrence de 14'964 fr. 65. Elle acceptait de surseoir momentanément au dépôt d'une plainte pénale, à condition que ce montant fût réglé dans les plus brefs délais.
U._, par son conseil, a formé opposition contre cette décision le 6 octobre 2006. Il a fait valoir qu'il n'était pas en mesure, dès l'origine et sans sa faute, d'acquitter les cotisations AVS, car il avait été mal conseillé et renseigné et avait mis en place un système d'ordre permanent insuffisant. Il a précisé que, sans reconnaissance de responsabilité, il s'était acquitté de la part pénale des cotisations, soit 14'964 fr. 65.
B. Par une nouvelle décision du 14 décembre 2006, la caisse a rejeté l'opposition précitée. Elle a indiqué qu'en sa qualité d'administrateur unique de la société, U._ avait des devoirs inaliénables et ne pouvait se retrancher derrière le fait qu'il avait reçu des renseignements erronés. Concernant le montant du dommage, la caisse a ramené ses prétentions à 37'343 fr. 45, compte tenu du paiement de la part pénale.
Le 30 janvier 2007, U._, représenté par son conseil, a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud en concluant, sous suite de dépens, à son annulation.
Dans sa réponse du 2 mars 2007, la caisse a conclu au rejet du recours. Elle a relevé qu'il ressortait clairement de la correspondance échangée à partir de 2001 avec les époux U._ que le recourant avait été constamment informé du fait que ses paiements étaient insuffisants. Elle renvoyait à ses lettres des 22 mars 2002, 24 juillet et 5 août 2003. A titre subsidiaire, la caisse a demandé la suspension de la cause afin d'établir - sur la base de la comptabilité de la société dont elle demandait la production - son dommage définitif par une décision complémentaire.
Par lettre du 13 juin 2007, la caisse a indiqué, en se fondant sur un rapport de révision du 7 mai 2007 et un décompte des années 2005 et 2006, que le montant du dommage s'élevait en définitive à 48'720 fr. 55.
Dans sa réplique, U._ a renoncé à de nouvelles observations pour la période jusqu'au 31 décembre 2004. Pour la période du 1er janvier 2005 au 31 décembre 2006, il a renvoyé aux arguments développés dans son recours pour la période précédente. Dans sa duplique, la caisse a confirmé ses conclusions visant au rejet du recours et demandé la réparation du dommage à hauteur de 48'720 fr. 55.
U._ a produit la comptabilité de la société relative aux années 2001 à 2006.
Par jugement du 9 novembre 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours. Il a circonscrit le litige à la réparation du dommage afférent aux années 2002 à 2004, les nouvelles conclusions de la caisse relatives aux années 2005 et 2006 devant faire l'objet d'une nouvelle décision.
C. U._ interjette un recours en matière de droit public contre ce jugement en concluant principalement à son annulation, subsidiairement au renvoi de la cause à la juridiction cantonale pour qu'elle statue à nouveau dans le sens des considérants et ordonne la mise en oeuvre d'une expertise comptable pour les années 2000 à 2004.

Considérant en droit:
1. Le litige porte sur la responsabilité du recourant, au sens de l'<ref-law>, en sa qualité d'organe de la société X._ SA, dans le dommage causé à la caisse intimée par la perte de cotisations paritaires afférentes aux années 2002 à 2004.
2. Le jugement entrepris expose de manière correcte les dispositions légales et réglementaires, ainsi que les principes jurisprudentiels applicables en matière de responsabilité de l'employeur et des organes de celui-ci (<ref-law>). On peut donc y renvoyer sur ces points.
3. Selon les premiers juges, il existe une présomption de négligence grave de la part du recourant en sa qualité d'administrateur unique de la société, dès lors qu'il a retenu les cotisations sur les salaires sans les reverser à la caisse. La juridiction cantonale a en outre considéré que le recourant ne pouvait se soustraire à sa responsabilité en alléguant avoir été mal renseigné et mal conseillé ni en tentant de rendre le comptable mandaté par ses soins responsable des manquements intervenus. Le recourant n'établissait pas non plus qu'au moment où il avait pris la décision de différer le paiement des cotisations, il disposait de raisons sérieuses et objectives de penser qu'il pourrait s'acquitter des cotisations dues dans un délai raisonnable.
4. Le recourant conteste toute responsabilité dans le préjudice subi par la caisse. Il invoque le fait de ne disposer d'aucune compétence en matière de gestion et d'administration d'entreprises. En outre, des erreurs dans la tenue des comptes par le tiers comptable l'avaient empêché de connaître ses obligations en matière d'AVS, rendant ainsi excusables ses propres manquements en la matière.
5. 5.1 Contrairement à ce qu'il prétend, le recourant ne saurait se prévaloir de son manque de compétence ou de formation dans le domaine de la gestion et de l'administration d'entreprises pour échapper à l'obligation de réparer le dommage subi par la caisse. Un administrateur ne peut se libérer de sa responsabilité en prétendant qu'il n'a jamais participé à la gestion de l'entreprise, car un tel comportement est déjà en soi constitutif d'un cas de négligence grave. La jurisprudence se montre d'autant plus sévère que l'administration d'une petite société anonyme se compose, comme en l'espèce, d'un seul membre, car on peut en règle ordinaire exiger de ce dernier - dans la mesure où il assume à lui seul l'administration de la société en sa qualité d'organe - qu'il contrôle toutes les activités importantes de l'entreprise et cela quand bien même il a confié l'essentiel de la gestion à un tiers: par cette délégation de compétence, il ne peut en même temps se décharger de ses responsabilités d'administrateur unique (<ref-ruling> consid. 3b p. 203). Dans les entreprises de petite taille et de grandeur moyenne, le devoir de surveillance concernant l'accomplissement de l'obligation légale de payer des cotisations ne saurait être abandonné à des tiers (<ref-ruling> consid. 4 p. 223).
5.2 Quant aux erreurs du comptable, elles ne sont pas aptes à exculper le recourant. Ainsi qu'il ressort des courriers qui lui ont été adressés par la caisse les 22 mars 2002, 24 juillet et 5 août 2003, le recourant avait été rendu expressément attentif à ses obligations en matière de cotisations ainsi que des conséquences sur les plans civil et pénal en cas de manquements à ces dernières. Il était en outre régulièrement informé de la situation de la société vis-à-vis des assurances, notamment en ce qui concerne le montant des arriérés de cotisations restés impayés. Au vu de ces circonstances, le recourant ne pouvait ignorer ses obligations légales. Dès lors qu'il n'a rien entrepris de particulier pour y remédier, son comportement relève de la négligence grave, d'autant plus qu'il s'est prolongé sur une période relativement longue. Sa passivité est, de surcroît, en relation de causalité naturelle et adéquate avec le dommage subi par la caisse de compensation. En effet, s'il avait correctement exécuté son mandat, il aurait pu veiller au paiement des cotisations d'assurances sociales ou, à tout le moins, il aurait pu constater, vu l'importance de l'arriéré des cotisations, que celles-ci étaient impayées et prendre les mesures qui s'imposaient; s'il se trouvait, en raison de l'attitude du tiers, dans l'incapacité de prendre ces mesures ou même d'exercer son devoir de surveillance, il devait alors démissionner de ses fonctions. Ne l'ayant pas fait, il répond du dommage qui en est résulté pour la caisse.
Le recours est par conséquent mal fondé.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 30 septembre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz