Faits:
A. A.a E._, ressortissant étranger, marié et père de deux enfants, a travaillé en qualité d'auxiliaire expéditeur pour W._ du 1er juin 1994 au 12 avril 1999. Le 3 mai 2000, il a déposé une demande de prestations de l'assurance-invalidité, sous la forme d'une orientation professionnelle ou d'une rente.
Se fondant sur un rapport d'expertise multidisciplinaire effectuée par le Centre X._, du 9 mai 2000, dont il ressort que l'assuré dispose d'une capacité de travail complète dans toute activité, l'Office cantonal de l'assurance-invalidité de Genève (ci-après: l'OCAI) a rejeté la demande de rente, respectivement de mesures d'ordre professionnel (décisions des 26 et 27 février 2002).
Le 12 avril 2002, l'assuré a recouru contre ces deux décisions auprès de la Commission cantonale de recours en matière d'AVS-AI en concluant à leur annulation ainsi qu'au renvoi de la cause à l'OCAI afin qu'il ordonne une expertise.
A.b Le 2 septembre 2003, le Tribunal cantonal des assurances sociales (lequel a succédé à la Commission cantonale de recours le 1er août 2003) a suspendu la procédure jusqu'à décision de l'OCAI sur la nouvelle demande de prestations déposée par l'assuré le 11 mars 2003.
L'OCAI a diligenté une expertise médicale pluridisciplinaire de type COMAI au Centre d'expertise médicale Y._. Dans leur rapport du 4 mars 2005, les experts ont posé les diagnostics, sans répercussion sur la capacité de travail, de syndrome douloureux chronique avec hémisyndrome sensitif gauche, troubles mentaux et troubles du comportement liés à l'utilisation de l'alcool et traits de personnalité histrionique. Sur le plan physique, l'hémisyndrome et les cervicalgies que l'assuré ressentait comme invalidants ne pouvaient pas être expliqués par des lésions somatiquement connues et reconnaissables. Par conséquent, il n'existait pas de limitation autre que la douleur sur le plan somatique. Sur le plan psychique, l'éthylisme chronique de l'assuré entraînait, en raison de ses débordements aigus, des hospitalisations à répétition. Toutefois, des changements neuropsychologiques et biochimiques n'étant pas présents, l'alcoolisme n'entraînait aucune limitation de la capacité de travail. Sur le plan social, les actes de violence générés par l'assuré lors d'alcoolisations aiguës perturbaient ses relations sociales, mais surtout les rapports avec son épouse et ses enfants. Les médecins de Y._ ont conclu à une capacité de travail entière dans toute activité professionnelle.
Par décision du 7 avril 2005, l'OCAI a rejeté la nouvelle demande de prestations de l'assuré.
A.c Le 14 avril 2005, le Tribunal des assurances a ordonné la reprise de l'instance. Par courrier du 28 avril 2005, le mandataire de l'assuré a informé le Tribunal des assurances de ce que celui-ci retirait son recours du 12 avril 2002 contre les décisions de l'OCAI des 26 et 27 février 2002. Toutefois, par lettre du 4 mai 2005, l'assuré est revenu sur son courrier du 28 avril 2005 et a indiqué souhaiter poursuivre la procédure. Lors d'une audience de comparution des parties du 14 juin 2005, l'OCAI a relevé qu'il n'y avait pas eu d'opposition formelle à sa décision du 7 avril 2005 mais qu'elle acceptait de considérer le courrier de l'assuré du 4 mai 2005 comme telle. Pour sa part, le nouveau mandataire de l'assuré a sollicité la mise en oeuvre d'une expertise ethno-psychiatrique et la suspension de la cause dans l'attente de la procédure sur opposition.
A.d Par ordonnance du 21 juin 2005, le Tribunal des assurances a suspendu l'instance.
Dans un rapport faisant un bilan des difficultés liées à la migration et à l'acculturation ainsi qu'une évaluation de leur impact sur la santé de l'assuré, du 10 mars 2006, le docteur U._ (chef de clinique auprès du Département de médecine communautaire de l'Hôpital Z._), a conclu que E._ présentait des troubles psychologiques compatibles avec un état dépressif ou avec des troubles de l'adaptation avec réaction dépressive.
Par décision sur opposition du 21 avril 2006, l'OCAI a confirmé sa décision de refus de prestations du 7 avril 2005.
B. B.a E._ a recouru contre cette décision devant le Tribunal cantonal des assurances en concluant à son annulation ainsi qu'à l'octroi d'une rente entière d'invalidité depuis la date du dépôt de sa demande.
B.b Par ordonnance d'expertise du 30 juillet 2007, le Tribunal cantonal des assurances a confié la réalisation d'une expertise psychiatrique au docteur B._, spécialiste FMH en psychiatrie et psychothérapie et médecin adjoint au Service de psychiatrie adulte de l'Hôpital Z._.
Le docteur B._ a rendu son rapport le 3 décembre 2007. Il a posé les diagnostics de syndrome douloureux somatoforme persistant, de syndrome de dépendance à l'alcool, actuellement abstinent et d'épisode dépressif moyen. La dépendance à l'alcool, en rémission complète depuis plus d'un an et demi, n'avait plus d'incidence, au moment de l'expertise, sur la capacité de travail de l'assuré. En revanche, cette pathologie avait constitué pendant plus de dix ans un trouble sévère, et particulièrement à partir de 1999-2000; elle avait empêché l'assuré de trouver un emploi adapté à ses limitations physiques, c'est-à-dire n'exigeant pas le port de charges; en dépit d'une assez longue période d'abstinence, il fallait considérer que la rémission était encore fragile. Le syndrome douloureux somatoforme représentait le trouble majeur eu égard à l'incapacité de travail. Depuis l'apparition des douleurs cervicales en 1994 et en dépit de nombreuses investigations et de nombreux traitements, ce syndrome s'était intensifié. L'état dépressif chronique était actuellement d'un degré de sévérité moyen. Il contribuait à l'incapacité de travail mais n'en constituait pas le facteur principal. L'expert-psychiatre a fixé le début de l'incapacité de travail durable dans le courant de l'année 1999 et précisé qu'elle était toujours totale au moment de l'expertise, en dépit de l'abstinence d'alcool. Selon lui, E._ n'avait pas les ressources physiques et psychiques nécessaires à l'exercice d'une activité lucrative adaptée. Au vu de son état clinique, ainsi que d'autres paramètres indépendants de son état de santé (illettrisme, absence de formation), les chances de succès d'une réadaptation professionnelle étaient par ailleurs nulles.
Par jugement du 29 janvier 2008, le Tribunal cantonal des assurances a annulé les décisions de l'OCAI des 26 et 27 février 2002 ainsi que celles du 7 avril 2005 et du 21 avril 2006. Il a mis l'assuré au bénéfice d'une rente entière d'invalidité depuis le 1er avril 2000, et invité l'OCAI à mettre toute mesure utile en place pour accompagner l'assuré dans un projet d'atelier protégé ainsi qu'à prévoir la révision du dossier à moyen terme.
C. L'OCAI interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, en concluant à la confirmation de ses décisions refusant à l'intimé tout droit à des prestations de l'assurance-invalidité.
E._ conclut, sous suite de frais et dépens, à la confirmation de l'arrêt attaqué. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF - sanctionnée par l'irrecevabilité des recours dont la motivation est manifestement insuffisante (<ref-law>) -, le Tribunal fédéral n'examine en principe que les griefs invoqués. Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le recourant se plaint en premier lieu d'arbitraire dans l'appréciation des preuves dans la mesure où la juridiction cantonale s'est fondée exclusivement sur les conclusions de l'expertise du docteur B._, sans motiver aucunement les raisons pour lesquelles elle s'est écartée des expertises de X._ et de Y._.
2.1 L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité (<ref-ruling> consid. 4b p.40; <ref-ruling> consid. 1b p. 30) ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41). Le juge doit examiner objectivement tous les documents à disposition, quelle que soit la provenance, puis décider s'ils permettent de porter un jugement valable sur le droit litigieux. S'il existe des avis contradictoires, il ne peut trancher l'affaire sans indiquer les raisons pour lesquelles il se fonde sur une opinion plutôt qu'une autre (<ref-ruling> consid. 3a p. 352).
En principe, le juge ne s'écarte pas sans motifs impératifs des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Selon la jurisprudence, peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa et les références).
2.2 En l'espèce, les premiers juges ont indiqué que la valeur probante du rapport d'expertise du docteur B._ paraissait évidente, au vu des critères développés par la jurisprudence. En outre, l'expert B._ se montrait clair et convaincant. Il expliquait pourquoi il s'écartait de certains diagnostics posés avant lui, ou de certains avis divergents. Il renseignait le Tribunal sur tous les points importants. Les premiers juges ont fait leur l'appréciation de l'expert B._, lequel expliquait en quoi son appréciation divergeait de celle des experts précédents, plus particulièrement de celle retenue dans le rapport de Y._ (cf. expertise p. 14). Dans ces conditions, l'appréciation des preuves à laquelle ont procédé les premiers juges, certes succincte, échappe au grief d'arbitraire.
3. 3.1 Le recourant reproche encore à l'autorité de première instance d'avoir retenu une atteinte à la santé invalidante, alors qu'une comorbidité psychiatrique grave ferait défaut en l'espèce et que les autres critères requis par la jurisprudence ne seraient pas non plus réalisés.
Les premiers juges ont exposé correctement les conditions dans lesquelles un trouble somatoforme douloureux peut présenter un caractère invalidant. Il suffit ainsi de renvoyer au jugement attaqué.
3.2 Les critiques du recourant, qui tente de substituer sa propre appréciation de la situation à celle des premiers juges ne sont pas pertinentes. En effet, les premiers juges ont retenu comme comorbidités psychiatriques une dépendance à l'alcool et un état dépressif chronique qui ne constituaient pas une manifestation d'accompagnement du syndrome douloureux (<ref-ruling> consid. 3.3.1 in fine p. 358). Ce raisonnement n'apparaît pas insoutenable au regard des précisions de l'expert judiciaire qui faisait état d'un pronostic défavorable et selon lesquelles les deux troubles relevés ne pouvaient être tenus en l'espèce pour des manifestations communes d'accompagnement des syndromes douloureux. Quant aux autres critères pour juger du caractère invalidant d'un trouble somatoforme douloureux, l'on ne voit pas non plus que les conclusions des premiers juges seraient manifestement erronées. Ceux-ci ont admis la perte d'intégration sociale dans tous les domaines de la vie dès lors que l'expert retenait que l'assuré n'était jamais parvenu à s'intégrer socialement en Suisse. Mis à part le soutien de sa femme et de ses enfants, il avait perdu tous les contacts sociaux qu'il avait en raison des troubles somatiques et psychiatriques dont il souffrait depuis 1994. Les premiers juges ont également retenu un état psychique cristallisé, dans la mesure où l'assuré était focalisé sur ses douleurs et ne possédait pas les capacités psychiques qui lui auraient permis de s'en distancer, ni celles qui pouvaient l'amener à concevoir que des facteurs psychiques contribuaient à la pérennisation et/ou à la sévérité du syndrome douloureux. Enfin, ils ont admis l'échec des traitements ambulatoires, en dépit de la motivation de l'assuré à se soigner. Il n'existait pas de divergences entre les douleurs décrites et le comportement observé; l'assuré n'avait pas non plus eu de comportement démonstratif lors des entretiens. Quant aux facteurs psycho-sociaux ou socio-culturels (p.ex. déracinement, émigration, éloignement des siens, sentiments d'insuffisance) retenus pas l'expert, les premiers juges ont cependant estimé que des motifs médicaux pertinents contribuaient de manière prépondérante à l'absence de capacité de travail de l'assuré (cf. <ref-ruling> consid. 5a p. 299). Cela étant, en retenant que le syndrome somatoforme persistant dont souffrait l'intimé était invalidant, les premiers juges n'ont pas violé le droit fédéral.
4. Mal fondé, le recours doit être rejeté. Vu l'issue du litige, les frais de la procédure sont mis à la charge du recourant (<ref-law>). L'intimé a droit à une indemnité de dépens à charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé la somme de 2'000 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances sociales de la République et canton de Genève et à l'Office fédéral des assurances sociales.
Lucerne, le 16 décembre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz