Faits:
A. A.a A._ a travaillé en qualité de maçon-carreleur jusqu'au 20 septembre 2001, jour où il a définitivement cessé toute activité lucrative. Le 7 mars 2002, l'intéressé a déposé une demande de prestations de l'assurance-invalidité en raison de lombalgies chroniques, tendant à son reclassement dans une nouvelle profession ou à l'octroi d'une rente. Par décision du 3 juin 2003, confirmée sur opposition le 4 septembre 2003, l'office AI a rejeté la demande de rente présentée par l'assuré.
A.b Le 11 novembre 2003, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Il a fait état d'un trouble dépressif récurrent, épisode actuel sévère avec idées suicidaires depuis juin 2003, d'un syndrome douloureux chronique, de discopathies L4-L5 et L5-S1 ainsi que de protrusion discale L5-S1 depuis février 2001. Par décision du 13 décembre 2004, l'office AI a rejeté la demande, au motif que la situation tant médicale qu'économique était superposable à celle prévalant au moment de sa décision initiale de refus de rente. L'assuré ayant formé opposition contre cette décision, l'office AI a confié à son Service médical régional (SMR) la réalisation d'un examen rhumatologique et psychiatrique. Dans leur rapport du 7 août 2006, les docteurs S._, spécialiste FMH en rhumatologie et médecine physique et rééducation, et B._, spécialiste FMH en psychiatrie, ont retenu les diagnostics avec répercussion sur la capacité de travail de lombalgies chroniques, non irritatives, non déficitaires, dans un contexte de protrusion discale des deux derniers étages lombaires (M54.5) et de trouble dépressif récurrent, épisode actuel léger à moyen (F33.1). La capacité résiduelle de travail de l'assuré était nulle sur le plan rhumatologique en tant que maçon-carreleur mais de 100 % dans une activité adaptée; sur le plan psychiatrique, elle était de 70 % (taux représentant une moyenne sur l'année) depuis le 21 septembre 2001. Par une nouvelle décision du 8 octobre 2007, l'office AI a rejeté l'opposition de l'assuré, au motif que son degré d'invalidité n'ouvrait pas droit à une rente.
B. Par jugement du 15 février 2008, le Tribunal administratif, Cour des assurances sociales, de la République et canton de Neuchâtel a admis le recours interjeté par l'assuré contre la décision sur opposition du 8 octobre 2007, en ce sens qu'il a alloué à ce dernier un quart de rente d'invalidité dès le mois de juin 2004.
C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la confirmation de sa décision du 8 octobre 2007.
A._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se prononcer.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2. Se fondant sur le rapport du SMR du 12 mai 2006 (recte: 7 août 2006), le Tribunal administratif a retenu que l'assuré présentait une incapacité de gain (recte: incapacité de travail) de 30 % pour des raisons psychiatriques. Les premiers juges ont par ailleurs constaté qu'au moment de la décision initiale de refus de rente du 3 juin 2003, confirmée sur opposition le 4 septembre 2003, l'intimé ne présentait aucune invalidité pour des raisons psychiatriques. C'était un rapport du Centre X._ du 30 octobre 2003 qui avait vraisemblablement amené le recourant à déposer une nouvelle demande de rente en novembre 2003. En effet, ce rapport précisait que le docteur M._ avait instauré un traitement anti-dépresseur en juin 2003 et que le recourant était soigné au Centre X._ depuis le 16 octobre 2003. Selon les premiers juges, c'était donc au plus tôt depuis le mois de juin 2004 que le recourant présentait une incapacité de gain (recte: incapacité de travail) de 40 pour-cent pendant une année sans interruption notable. Ils ont fixé le revenu sans invalidité à 69'213 fr., montant correspondant au salaire que l'assuré réalisait en 2001 dans son ancien métier à un taux d'activité de 100 % (67'182 fr.; soit 26 fr. 80 [salaire par heure] + 10,4 % [indemnités de vacances] + 8,3 % [13ème salaire] x 2112 heures (durée annuelle du travail dans le secteur de la construction), après adaptation à l'évolution des salaires jusqu'en 2004 (+1,6 % en 2002; + 1 % en 2003; + 0,4 % en 2004). Quant au revenu d'invalide, les juges cantonaux se sont référés aux données salariales statistiques ressortant de l'Enquête suisse sur la structure des salaires [ESS] valables en 2004, singulièrement au salaire obtenu par les hommes exerçant une activité simple et répétitive (qualification 4) dans le secteur privé pour un horaire hebdomadaire de travail de 41,7 heures, salaire qu'ils ont encore adapté à la capacité résiduelle de travail de 70 % et réduit de 10 % (soit 36'160 fr. par an). Il en résultait un degré d'invalidité de 47,76 % [69'213 - 36'160 : 69'213 x 100]. Dans la mesure où son degré d'invalidité s'était modifié depuis la décision du 3 juin 2003, le recourant avait droit à un quart de rente depuis le mois de juin 2004 au plus tôt.
3. L'office AI conteste tout d'abord le revenu d'invalide pris en compte par les premiers juges. Il leur reproche d'avoir modifié, sans motifs pertinents, l'abattement opéré sur ledit revenu en substituant un taux de 10 % à celui de 5 % qu'il avait retenu.
3.1 Le point de savoir si un coefficient de réduction doit ou non être appliqué au revenu d'invalide, lorsque ce dernier a été établi sur la base de statistiques de l'Enquête suisse sur la structure des salaires, constitue une question de droit que le Tribunal fédéral peut revoir librement. Contrairement à la situation qui prévalait jadis sous l'empire de l'OJ (art. 104 let. c et 132 let. a), l'étendue de l'abattement (justifié dans un cas concret), qui constitue une question typique relevant du pouvoir d'appréciation, échappe désormais au pouvoir d'examen du Tribunal fédéral (art. 95 et 97 LTF). Demeure réservé le cas où le recourant fait grief à la juridiction de recours de première instance d'avoir exercé son pouvoir d'appréciation de manière abusive, donc contraire au droit, par un excès positif (Ermessensüberschreitung) ou négatif (Ermessensunterschreitung) de ce pouvoir (arrêt 9C_721/2008 du 14 octobre 2008 consid. 1.3.2; arrêt 9C_382/2007 du 13 novembre 2007 consid. 4.1).
3.2 Les premiers juges ont constaté que l'office AI n'avait pas pris en considération les limitations fonctionnelles présentées par l'intimé, car elles avaient déjà été prises en compte lors de l'évaluation de la capacité résiduelle de travail. Or, selon la juridiction cantonale, l'appréciation de la capacité résiduelle de travail de 70 % était justifiée uniquement par l'atteinte psychiatrique. La juridiction cantonale a par ailleurs estimé qu'eu égard au fait que l'intimé ne pouvait plus accomplir de travaux lourds et qu'il ne pouvait occuper qu'un poste à temps partiel, une déduction de 10 % du revenu d'invalide était appropriée en l'espèce. Les motifs énoncés par la juridiction cantonale n'ont pas été appliqués de manière schématique, quoi qu'en dise le recourant, mais procèdent d'une évaluation globale de la situation de l'intimé dans le cadre même de l'évaluation de l'exigibilité d'une reprise d'activité professionnelle sur un marché du travail équilibré (cf. arrêts 9C_635/2007 du 21 août 2008 consid. 4, 9C_322/2007 du 22 janvier 2008 consid. 3, I 570/06 du 12 septembre 2007 consid. 5.2.4, I 294/06 du 20 avril 2007 consid. 5.3.2, I 226/06 du 25 août 2006 consid. 5.2.3, I 55/06 du 9 août 2006 consid. 2, I 635/05 du 21 avril 2006 consid. 2.5, I 358/05 du 8 novembre 2005 consid. 2.4). Il s'agit dès lors de motifs pertinents qui, dans le cadre du contrôle de l'opportunité par la juridiction cantonale, font apparaître son appréciation différente comme mieux appropriée à la situation (cf. arrêt I 174/05 du 25 juillet 2005 c. 2.2 à 2.8) et en tous cas pas contraire au droit.
4. Le recourant reproche encore à la juridiction cantonale d'avoir surestimé le revenu sans invalidité. Selon lui, celui-ci s'élevait à 62'579 fr. 50 pour 2004.
En l'espèce, il n'y a pas lieu d'examiner plus en détail le grief du recourant. En effet, même à supposer que l'on prenne en considération le revenu de 62'579 fr. 50 avancé par celui-ci, il résulterait de la comparaison des revenus un degré d'invalidité de 42 % (62'579.50 - 36'160 : 62'579.50 x 100 = 42,2 %), ouvrant le droit de l'intimé à un quart de rente. Par conséquent, le jugement entrepris n'est pas critiquable.
5. Compte tenu de l'issue du litige, les frais de justice doivent être supportés par le recourant qui succombe (art. 66 al. 1 première phrase LTF en relation avec l'<ref-law>). L'intimé a droit à une indemnité de dépens pour l'instance fédérale, à charge du recourant (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé la somme de 1'500 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 12 février 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz