Faits:
A. A.a F._, né en 1958, a travaillé comme maçon, puis comme cariste au service de la X._ jusqu'au 31 décembre 1995, date à laquelle son poste a été supprimé. Depuis lors, il n'a plus repris d'activité lucrative. Le 22 mars 1996, il a déposé une demande de prestations de l'assurance-invalidité, en faisant état d'arthrose au genou gauche et au dos depuis le mois d'avril 1995.
Dans un rapport du 17 avril 1996, le docteur V._, spécialiste FMH en médecine générale et tropicale, a posé le diagnostic de déchirure du ménisque interne et chondromalacie rotulienne du genou gauche, syndrome rotulien bilatéral et lombalgies épisodiques. Il ne s'est pas prononcé sur la capacité de travail de l'assuré. Selon le docteur R._, spécialiste FMH en chirurgie orthopédique, l'assuré présentait une chondromalacie rotulienne du genou gauche et des lombalgies chroniques. La capacité de travail était de 50 % comme maçon et de 100 % dans une activité adaptée (cf. rapport du 29 août 1996). Du 1er au 26 septembre 1997, F._ a effectué un stage au Centre d'observation professionnelle de l'assurance-invalidité (COPAI). Dans un rapport du 10 novembre 1997, les maîtres en réadaptation ont conclu que dans une activité légère permettant l'alternance des positions, telle que le magasinage ou la manutention légère, l'assuré présentait un rendement de 70 % sur un plein temps.
Se fondant sur les renseignements médicaux au dossier et sur le rapport de stage du COPAI, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a considéré que l'assuré présentait un taux d'invalidité de 42 % et lui a accordé, par décision du 10 sep-tembre 1999, un quart de rente dès le 1er juin 1998.
A.b Le 15 octobre 1999, l'assuré a requis une révision de sa rente, en faisant valoir une aggravation de son état de santé. Outre son affection au genou et ses douleurs au dos, il mentionnait souffrir de troubles nerveux, d'angoisses, de palpitations, de maux de tête ainsi que d'insomnies.
Instruisant la demande de l'assuré, l'OAI a mandaté le docteur S._, spécialiste FMH en psychiatrie et psychothérapie, afin de réaliser une expertise sur la personne de l'assuré. Dans son rapport subséquent du 28 août 2001, l'expert a posé un diagnostic selon le Manuel diagnostique des troubles mentaux:
Sur l'axe I, il a fait état d'une dysthymie légère, d'un trouble de l'adaptation avec humeur anxio-dépressive en rémission partielle, d'un trouble panique avec attaque de panique paucisymptomatique et agoraphobie légère, d'un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale de degré léger avec majoration volontaire des symptômes (sursimulation), d'une non-observance du traitement médical et d'une probable dépendance à l'alcool légère. Sur l'axe II, il a retenu une personnalité fruste à l'intelligence limitée, sur l'axe III, des lombalgies et une gonalgie gauche et sur l'axe IV, une séparation conjugale et des difficultés socio-professionnelles. Le docteur S._ a conclu à une incapacité de travail de 40 % au maximum depuis 1998.
L'assuré a effectué un stage de préparation à une activité professionnelle au sein de l'atelier de menuiserie de la Fondation Y._ (ci-après: la fondation) du 26 août au 14 novembre 2002, lequel a été prolongé jusqu'au 11 février 2003. Dans un rapport d'évaluation du 10 février 2003, le maître d'atelier a conclu que F._ ne pouvait pas retourner dans le circuit économique car les activités effectuées pendant le stage démontraient «beaucoup d'impossibilités physiques». Selon lui, «beaucoup de choses [étaient] aussi liées à sa dépression et sans un travail et un suivi psychiatriques, il n'y [aurait] pas de progression». Il était par conséquent souhaitable d'éclaircir l'aspect médical.
Dans un rapport du 24 février 2003, le docteur C._, généraliste et médecin traitant de l'assuré, a indiqué que l'état de santé de son patient était stationnaire, l'incapacité de travail se situant entre 40 et 50 %.
L'OAI a confié un mandat d'expertise pluridisciplinaire à la Clinique romande de réadaptation (CRR), fonctionnant en tant que Centre d'observation médicale de l'assurance-invalidité (COMAI). Le rapport d'expertise (du 26 janvier 2004) a été établi par le docteur G._, directeur médical de la CRR, qui a rendu ses conclusions après avoir confié un consilium neurologique au docteur E._ et un consilium psychiatrique au docteur A._.
Selon le docteur E._, les constatations étaient pauvres et les discordances relevées déjà par plusieurs intervenants apparaissaient au premier plan, notamment en ce qui concernait la mobilité lombaire. Pour ce praticien, il n'existait aucune pathologie neurologique susceptible d'expliquer les symptômes et d'interférer avec la capacité de travail.
Le docteur A._ a retenu un syndrome somatoforme douloureux persistant, un épisode dépressif d'intensité moyenne et un trouble panique avec agoraphobie. Selon ce médecin, ses observations et conclusions rejoignaient pour l'essentiel celles du docteur S._. Il a conclu que les comorbidités psychiatriques du syndrome somatoforme douloureux persistant, à savoir les troubles dépressifs et anxieux, justifiaient une incapacité de travail de l'ordre de 40 %. En outre, il relevait un certain nombre de facteurs sortant du champ médical, tels que le milieu modeste, l'absence de formation professionnelle, les difficultés d'écriture et de lecture du français, l'entrée précoce dans la vie active, les emplois subalternes, les comportements agressifs occasionnels, l'éloignement familial ainsi que l'adoption de comportements régressés.
Dans leur discussion de synthèse, les praticiens de la CRR ont estimé que l'ensemble de la symptomatologie justifiait une incapacité de travail de 50 % dans une activité adaptée. L'assuré demeurait apte à exercer une activité légère, sans port de charges supérieures à 5-8 kilos, permettant l'alternance des positions ainsi que des pauses répétées. En raison de l'échec des tentatives de réadaptation déjà entreprises, il n'y avait pas lieu de poursuivre dans cette voie mais l'assurance-invalidité pouvait intervenir par une aide au placement. Dans une activité lourde, l'incapacité de travail était complète. Enfin, la discordance entre l'incapacité médicale reconnue de 50 % et la non- reprise d'une activité lucrative était à mettre sur le compte de facteurs sortant du champ médical.
A.c Le 2 juillet 2004, la doctoresse I._, médecin-chef du Service médical régional AI (SMR), a contesté le diagnostic de trouble somatoforme douloureux dans la mesure où il existait une base somatique aux plaintes de l'assuré et que la notion de détresse faisait défaut. Elle a en outre estimé que les conclusions des experts sur l'incapacité de travail n'étaient pas claires.
Le 22 novembre 2004, le docteur G._ a établi un rapport complémentaire dans lequel il a maintenu les conclusions prises précédemment, en réitérant que l'aspect somatique observé au jour de l'expertise ne s'était pas modifié depuis 1998.
Dans un rapport du 24 janvier 2005, la doctoresse I._ a conclu à une incapacité de travail de 40 % dans toute activité en raison des troubles psychiques et des limitations fonctionnelles somatiques contre-indiquant l'activité de maçon.
Par décision du 13 juillet 2005, confirmée sur opposition le 4 décembre 2006, l'OAI a maintenu le droit de l'assuré à un quart de rente. Il a fixé le taux d'invalidité à 46 % en se fondant sur un revenu d'invalide de 29'481 fr. 15, calculé sur la base des données ressortant de l'Enquête suisse sur la structure des salaires (ESS) de l'Office fédéral de la statistique en 2003 - compte tenu d'une capacité résiduelle de travail de 60 % et d'un abattement de 15 % - et d'un revenu sans invalidité de 54'581 fr. 65.
B. Par jugement du 29 octobre 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition du 4 décembre 2006.
C. F._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme, en ce sens qu'il a droit à une demi-rente d'invalidité. Il requiert ensuite le renvoi de la cause à l'intimé pour qu'il fixe dans une nouvelle décision la date du début du droit à la demi-rente ainsi que son montant. Le recourant demande en outre l'octroi de l'assistance judiciaire.
L'office intimé conclut implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se prononcer.

Considérant en droit:
1. 1.1 Le litige porte sur l'augmentation, par la voie de la révision, de la quotité de la rente du recourant, singulièrement sur l'existence d'une diminution de sa capacité de gain depuis la décision initiale d'octroi de ladite prestation. A cet égard, le jugement entrepris expose correctement les normes légales et jurisprudentielles relatives à l'évaluation de l'invalidité et à la révision de la rente (art. 17 LPGA). Il suffit donc d'y renvoyer.
1.2 Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF - sanctionnée par l'irrecevabilité des recours dont la motivation est manifestement insuffisante (art. 108 al. 1 let. b LTF) -, le Tribunal fédéral n'examine en principe que les griefs invoqués. Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
1.3 Selon le principe de la libre appréciation des preuves, le juge apprécie librement les preuves médicales qu'il a recueillies, sans être lié par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. Le juge doit examiner objectivement tous les documents à disposition, quelle que soit la provenance, puis décider s'ils permettent de porter un jugement valable sur le droit litigieux. S'il existe des avis contradictoires, il ne peut trancher l'affaire sans indiquer les raisons pour lesquelles il se fonde sur une opinion plutôt qu'une autre. En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a p. 352, 122 V 157 consid. 1c p. 160 et les références).
2. Les premiers juges ont constaté que sur le plan psychique, le docteur S._ avait conclu à une incapacité de travail de 40 % au maximum depuis 1998. Les experts de la CRR concluaient également à une incapacité de travail de 40 % en raison des troubles psychiques présentés par le recourant. Le docteur A._ (consilium de psychiatrie de la CRR) posait le diagnostic de syndrome somatoforme douloureux, lequel n'était pas retenu par le docteur S._. Celui-ci ne retenait qu'un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale. La doctoresse I._ ne mentionnait pas non plus le diagnostic de trouble somatoforme douloureux. Pour la juridiction cantonale, il n'y avait pas lieu de retenir un trouble somatoforme douloureux dès lors que celui-ci n'était pas étayé par les experts de la CRR. Quoi qu'il en soit, il n'influençait pas de manière aggravante la capacité de travail du recourant puisque les praticiens de la CRR indiquaient que les comorbidités psychiatriques du syndrome somatoforme douloureux persistant, à savoir les troubles dépressifs et anxieux, justifiaient une incapacité de travail de l'ordre de 40 %.
2.1 Sur le plan somatique, les premiers juges ont constaté que pour les experts de la CRR, la situation n'avait pas évolué depuis 1998. Le consilium neurologique ne révélait par ailleurs aucune pathologie susceptible d'expliquer les symptômes et d'interférer avec la capacité de travail. Pourtant, en retenant une incapacité de travail globale de 50 % dans une activité adaptée, ces praticiens estimaient que les troubles somatiques entraînaient une incapacité de travail puisque les troubles psychiques à eux seuls n'entraînaient qu'une incapacité de travail de 40 %. Or, selon la juridiction cantonale, les images radiologiques montraient des lésions à un stade débutant, voire modéré. D'autre part, les médecins traitants du recourant estimaient en 1996 et que sa capacité de travail était entière dans une activité adaptée à ses limitations fonctionnelles. En outre, les experts de la CRR n'expliquaient pas en quoi l'état de santé du recourant avait évolué défavorablement de 1996 à 1998, respectivement de 1998 au jour de leur expertise, justifiant une capacité de travail réduite dans une activité adaptée. Selon les premiers juges, l'incapacité de travail évaluée à 50 % par les experts de la CRR ne pouvait donc pas être retenue. Ceux-ci retenaient en revanche que le recourant présentait une capacité résiduelle de travail de 60 % dans une activité adaptée à ses limitations fonctionnelles. Procédant ensuite au calcul du taux d'invalidité du recourant, les premiers juges ont conclu à une incapacité de gain de 46 %, laquelle ouvrait droit à un quart de rente. Ils en ont déduit que la situation du recourant n'avait pas subi de modification depuis la décision initiale de rente du 10 septembre 1999.
3. 3.1 En substance, le recourant fait grief aux premiers juges d'avoir méconnu la force probante supérieure d'une expertise pluridisciplinaire par rapport à celle d'une expertise monodisciplinaire. A cet égard, il leur reproche de s'être écartés des conclusions de l'expertise de la CRR et estime que s'ils n'étaient pas convaincus par cette dernière, ceux-ci ne pouvaient se fonder sur les conclusions de l'expertise du docteur S._ mais auraient dû ordonner une nouvelle expertise pluridisciplinaire. Ce moyen n'est pas fondé.
3.2 L'appréciation de la situation médicale d'un assuré ne se résume pas à trancher, sur la base de critères formels, la question de savoir quel est parmi les rapports médicaux versés au dossier celui qui remplit au mieux les critères jurisprudentiels en matière de valeur probante, puis à s'en approprier les conclusions. Si la provenance et la qualité formelle sont des facteurs permettant de pondérer la portée de différents rapports médicaux, seul leur contenu matériel permet en fin de compte de porter un jugement valable sur le droit litigieux. Si le Tribunal fédéral tient compte de la différence entre un mandat thérapeutique et un mandat d'expertise (cf. arrêts 9C_701/2007 du 20 juin 2008, consid. 3.3 et 9C_897/2007 du 8 juillet 2008 et les références), il n'a jamais établi, sur la base des critères énoncés précédemment (cf. consid. 1.3 supra), une hiérarchie entre les divers types d'expertises médicales. Il n'est pas contraire au droit de s'éloigner des résultats d'une expertise pluridisciplinaire en faveur d'une autre expertise si le juge se fonde sur des motifs pertinents qui tiennent compte des aspects concrets du cas d'espèce. Tel est bien le cas dans la présente affaire.
3.3 En l'espèce, contrairement à ce que voudrait le recourant, il n'y a pas lieu de privilégier les conclusions de l'expertise de la CRR au détriment de celles de l'expertise du docteur S._ car les premiers juges ont fondé leur appréciation sur l'avis concordant des deux expertises en ce qui concerne l'atteinte psychique. Le choix de privilégier l'avis du docteur S._ ou du docteur A._ au détriment de l'avis global des autres médecins de la CRR relève du principe de la libre appréciation des preuves (cf. <ref-ruling> consid. 3a p. 352) et n'est pas insoutenable. En effet, on ne comprend pas pourquoi la capacité de travail retenue devrait être de 50 % alors que l'aspect somatique est resté inchangé et que l'atteinte à la santé psychique justifie, selon l'avis concordant de tous les médecins, une incapacité de travail de 40 % seulement. Le recourant ne tente d'ailleurs nullement d'établir dans son recours que le contenu du rapport d'expertise du docteur S._ serait critiquable ou que l'expertise de la CRR serait plus convaincante. Faute de griefs motivés, il n'y a pas lieu de remettre en cause le résultat de l'appréciation des preuves auquel sont arrivés les premiers juges. Manifestement infondé, le recours doit être rejeté.
4. Le recourant a sollicité le bénéfice de l'assistance judiciaire pour l'instance fédérale. Les conditions d'octroi de l'assistance judiciaire gratuite étant réalisées (art. 64 al. 1 et 2 LTF), celle-ci lui est accordée, de sorte qu'il sera dispensé des frais judiciaires et que les honoraires de son avocat seront pris en charge par la caisse du Tribunal fédéral. L'attention du recourant est attirée sur le fait qu'il devra rembourser la caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont provisoirement supportés par la caisse du Tribunal.
4. Une indemnité de 1'500 fr., supportée par la caisse du Tribunal, est allouée à Me Agier à titre d'honoraires.
5. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 15 septembre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz