Faits: A. A.a A._ a travaillé du 1er décembre 2000 au 5 décembre 2003 en qualité d'employé polyvalent (station-service, lavage et nettoyage des voitures, petite mécanique) au service du garage X._ SA. Le 14 octobre 2004, l'intéressé a déposé une demande de rente auprès de l'assurance-invalidité en raison de problèmes de santé suite à une opération du coeur en 1987, une maladie des reins, des malaises répétés et la pose d'un "pacemaker" en septembre 2004. Dans le cadre de l'instruction de la cause, l'office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a confié un mandat d'expertise pluridisciplinaire à la Clinique Y._ fonctionnant comme Centre d'observation médicale de l'AI (COMAI), qui a rendu son rapport le 28 décembre 2005. Les experts ont posé, comme diagnostics avec influence essentielle sur la capacité de travail, un autre trouble anxieux spécifié (F41.8), des lombalgies chroniques non spécifiques (M54.5) et des troubles statiques dégénératifs rachidiens. Sur le plan rhumatologique, la capacité de travail de l'assuré était complète dans une activité légère, compte tenu de certaines limitations (variation des positions assise et debout, pas de port de charges supérieures à 10 kilos et pas de maintien de positions statiques prolongées de plus de 45 minutes de manière continue). D'un point de vue cardiologique, la maladie valvulaire était compensée et stable. L'assuré ne présentait pas de signes cliniques d'insuffisance cardiaque significative. Les troubles rythmiques étaient contrôlés par l'activité du stimulateur cardiaque et ne représentaient plus de limitations à une activité normale. Sur le plan psychiatrique, les experts ont retenu un trouble anxieux, dont l'aggravation marquée dès l'année 2003 était à mettre en relation avec les épisodes de pertes de connaissance itératives dans un contexte d'hospitalisations en urgence, objectivement traumatiques avec notamment des fractures du visage survenues au cours de ces épisodes. A cela s'ajoutait le développement rapide d'une maladie d'Alzheimer invalidante chez le père de l'assuré, qui agissait comme un facteur de stress psycho-social majeur chez ce dernier, lequel semblait être convaincu de développer lui-même une démence. Ce trouble anxieux semblait avoir pris une telle place qu'il justifiait une sévère diminution de la capacité de travail. Ce trouble devait être nommé et pris en charge spécifiquement. L'approche devait viser à expliquer de manière exhaustive et rassurante les différentes problématiques dont l'assuré avait été l'objet, de manière à lui permettre dans la mesure du possible de regagner une certaine confiance. Cette mise en confiance devait assez rapidement passer par une mise en situation professionnelle, dans une structure de type "Intégration pour tous". Dans l'intervalle, la sévérité de la problématique justifiait une incapacité de travail de 70 %. Les experts précisaient qu'à terme, si la problématique anxieuse s'amendait, il était possible d'envisager une capacité de travail entière sur un plan purement somatique. Invité à se prononcer sur les conclusions de l'expertise COMAI, le docteur U._, du Service médical régional AI (SMR), a exprimé des doutes au sujet de la limitation de la capacité de travail de l'assuré de l'ordre de 70 %. Il a ainsi préconisé un nouvel examen psychiatrique par le SMR (cf. note du 7 mars 2006). A.b Le 2 mai 2006, l'assuré a fait l'objet d'un examen psychiatrique par le SMR. Dans son rapport subséquent du 17 août 2006, la doctoresse B._, psychiatre, a retenu un trouble anxieux spécifié, en rémission (F41.8), sans répercussion sur la capacité de travail. Par rapport à la situation prévalant au moment de l'expertise COMAI, l'état de santé de l'assuré s'était nettement amélioré. La doctoresse n'était cependant pas en mesure de fixer la date exacte de l'amélioration. Elle a en outre indiqué que la symptomatologie anxieuse présentée par l'assuré était réactionnelle à sa pathologie et ne représentait pas une maladie psychiatrique chronique et invalidante. Ce rapport a été réédité le 6 février 2007 et signé en outre par le docteur I._, psychiatre FMH et le docteur H._, médecin-chef ad interim. Dans une note du 7 septembre 2006, le docteur U._ a constaté l'absence d'incapacité de travail sur le plan somatique. D'un point de vue psychiatrique, le trouble anxieux avait justifié une incapacité de travail de 70 % dès décembre 2003, puis s'était amélioré entre fin 2005 et avril 2006, comme l'attestait la doctoresse B._. L'assuré présentait une capacité de travail entière dès le mois de mai 2006 dans les diverses activités qu'il avait exercées dans le passé (aide-pâtissier, garçon de buffet, manoeuvre dans un garage). Se fondant sur les conclusions de l'expertise COMAI du 28 décembre 2005 et de l'examen psychiatrique du SMR du 2 mai 2006, l'office AI a alloué à A._ une rente entière d'invalidité du 1er décembre 2004 au 31 juillet 2006 (décision du 24 avril 2007). B. A._ a recouru contre cette décision en concluant, sous suite de frais et dépens, au maintien de la rente entière d'invalidité par-delà le 31 juillet 2006. Par jugement du 23 novembre 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant derechef au maintien de sa rente entière d'invalidité. L'office AI a conclu implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se prononcer.