Faits:
A. Par décision du 16 juin 1997, l'Office de l'assurance-invalidité du canton de Vaud (ci-après: l'OAI) a alloué à M._, né en 1956, une rente entière d'invalidité à partir 1er décembre 1996. Cette décision remplaçait une précédente décision du 21 mars 1991, par laquelle une demi-rente d'invalidité avait été octroyée à l'assuré à partir du 1er janvier 1990. Se fondant sur les renseignements médicaux recueillis dans le cadre d'une procédure de révision du droit à la rente entreprise durant l'année 2000, soit en particulier un rapport d'expertise de l'Hôpital X._ du 2 octobre 2003, l'OAI a rendu une décision le 16 octobre 2007, par laquelle il a supprimé la rente de M._ dès le 1er décembre 2007. En substance, il a reconsidéré sa décision d'octroi d'une rente entière d'invalidité, motif pris de l'absence d'atteinte invalidante.
B. Saisi d'un recours de l'assuré contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 22 avril 2008.
C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, à la constatation que les conditions de la reconsidération ne sont pas remplies. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouveau jugement au sens de considérants.
L'OAI a conclu au rejet du recours tandis que l'Office fédéral des assurance sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Le Tribunal fédéral statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes.
2. 2.1 Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision ou une décision sur opposition formellement passée en force et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit manifestement erronée et que sa rectification revête une importance notable (<ref-law>; <ref-ruling> consid. 4.1 p. 52).
2.2 Pour juger s'il est admissible de reconsidérer une décision pour le motif qu'elle est sans nul doute erronée, il faut se fonder sur les faits et la situation juridique existant au moment où cette décision a été rendue, compte tenu de la pratique en vigueur à l'époque (<ref-ruling> consid. 3 p. 389 et les références). Par le biais de la reconsidération, on corrigera une application initiale erronée du droit, de même qu'une constatation erronée résultant de l'appréciation des faits. Un changement de pratique ou de jurisprudence ne saurait en principe justifier une reconsidération (<ref-ruling> consid. 2c p. 17, 115 V 308 consid. 4a/cc p. 314). Pour des motifs de sécurité juridique, l'irrégularité doit être manifeste, de manière à éviter que la reconsidération devienne un instrument autorisant sans autre limitation un nouvel examen des conditions à la base des prestations de longue durée. En particulier, les organes d'application ne sauraient procéder en tout temps à une nouvelle appréciation de la situation après un examen plus approfondi des faits. Ainsi, une inexactitude manifeste ne saurait être admise lorsque l'octroi de la prestation dépend de conditions matérielles dont l'examen suppose un pouvoir d'appréciation, quant à certains de leurs aspects ou de leurs éléments, et que la décision initiale paraît admissible compte tenu de la situation antérieure de fait ou de droit. S'il subsiste des doutes raisonnables sur le caractère erroné de la décision initiale, les conditions de la reconsidération ne sont pas remplies (par exemple arrêts 9C_71/2008 du 14 mars 2008 consid. 2, 9C_575/2007 du 18 octobre 2007 consid. 2.2).
3. Le litige porte sur la question de savoir si l'OAI était fondé, par sa décision du 16 octobre 2007, à supprimer la rente entière d'invalidité dont bénéficiait le recourant depuis le 1er décembre 1996.
4. 4.1 Examinant si les conditions de la reconsidération étaient remplies, le Tribunal des assurances a retenu que l'octroi de la rente d'invalidité par décision de l'OAI du 16 juin 1997 se fondait sur des avis médicaux lacunaires, sans qu'une expertise n'ait été mise en oeuvre. Il a ensuite considéré qu'il y avait lieu de se fonder sur l'expertise de l'Hôpital X._ laquelle avait pleine valeur probante. De ces constatations, les premiers juges en ont déduit que le droit à la rente n'était pas et n'avait jamais été ouvert, de sorte que les conditions d'une reconsidération était réunies.
4.2 Ce faisant, les premiers juges ont méconnu le principe rappelé plus haut (cf. consid. 2.2) selon lequel les conditions pour reconsidérer une décision doivent être appréciées à la lumière des circonstances de fait et de droit régnant à l'époque où cette décision a été rendue. En effet, plutôt que d'apprécier les éléments ayant conduit l'administration à allouer une rente entière au recourant, les premiers juges ont procédé comme s'ils statuaient pour la première fois sur les droits de l'assuré et ont apprécié sa situation juridique à la lumière exclusivement des données médicales recueillies à l'occasion de la procédure de révision de la rente. Or, une appréciation médicale différente ultérieure ne suffit pas pour faire apparaître comme manifestement erronée la décision du 16 juin 1997. Dans la mesure où la juridiction cantonale n'a posé aucune constatation de fait quant au point de savoir si la décision de rente du 16 juin 1997 était manifestement erronée, les faits ont été établis de façon lacunaire au sens de l'<ref-law>. Il n'incombe cependant pas au Tribunal fédéral de substituer sa propre appréciation à celle de la juridiction cantonale et de procéder lui-même à la constatation des faits pertinents lorsque ceux-ci supposent l'appréciation de preuves sur le plan médical et professionnel (cf. SVR 2008 IV n° 53 p. 177 consid. 4.2). Il convient dès lors de renvoyer la cause à la juridiction cantonale afin qu'elle se prononce sur l'admissibilité de la reconsidération de la décision du 16 juin 1997, non sans avoir préalablement complété ses constatations de fait sur ce point.
5. Il résulte de ce qui précède que le recours doit être admis et la décision attaquée annulée. Au vu de l'issue du recours et la violation qualifiée dans l'application des règles de droit, les frais judiciaires et les dépens sont mis à la charge du canton (art. 66 al. 3 et 68 al. 4 LTF; <ref-ruling> consid. 5 p. 407 s. et les références).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud du 22 avril 2008 est annulé, la cause étant renvoyée à l'autorité judiciaire de première instance pour qu'elle statue à nouveau en procédant conformément aux considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du canton de Vaud.
3. Le canton de Vaud versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud, à l'Office fédéral des assurances sociales et à la Caisse cantonale vaudoise de compensation AVS.
Lucerne, le 29 juin 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz