Faits: A. A.a F._, né en 1958, a travaillé comme maçon, puis comme cariste au service de la X._ jusqu'au 31 décembre 1995, date à laquelle son poste a été supprimé. Depuis lors, il n'a plus repris d'activité lucrative. Le 22 mars 1996, il a déposé une demande de prestations de l'assurance-invalidité, en faisant état d'arthrose au genou gauche et au dos depuis le mois d'avril 1995. Dans un rapport du 17 avril 1996, le docteur V._, spécialiste FMH en médecine générale et tropicale, a posé le diagnostic de déchirure du ménisque interne et chondromalacie rotulienne du genou gauche, syndrome rotulien bilatéral et lombalgies épisodiques. Il ne s'est pas prononcé sur la capacité de travail de l'assuré. Selon le docteur R._, spécialiste FMH en chirurgie orthopédique, l'assuré présentait une chondromalacie rotulienne du genou gauche et des lombalgies chroniques. La capacité de travail était de 50 % comme maçon et de 100 % dans une activité adaptée (cf. rapport du 29 août 1996). Du 1er au 26 septembre 1997, F._ a effectué un stage au Centre d'observation professionnelle de l'assurance-invalidité (COPAI). Dans un rapport du 10 novembre 1997, les maîtres en réadaptation ont conclu que dans une activité légère permettant l'alternance des positions, telle que le magasinage ou la manutention légère, l'assuré présentait un rendement de 70 % sur un plein temps. Se fondant sur les renseignements médicaux au dossier et sur le rapport de stage du COPAI, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a considéré que l'assuré présentait un taux d'invalidité de 42 % et lui a accordé, par décision du 10 sep-tembre 1999, un quart de rente dès le 1er juin 1998. A.b Le 15 octobre 1999, l'assuré a requis une révision de sa rente, en faisant valoir une aggravation de son état de santé. Outre son affection au genou et ses douleurs au dos, il mentionnait souffrir de troubles nerveux, d'angoisses, de palpitations, de maux de tête ainsi que d'insomnies. Instruisant la demande de l'assuré, l'OAI a mandaté le docteur S._, spécialiste FMH en psychiatrie et psychothérapie, afin de réaliser une expertise sur la personne de l'assuré. Dans son rapport subséquent du 28 août 2001, l'expert a posé un diagnostic selon le Manuel diagnostique des troubles mentaux: Sur l'axe I, il a fait état d'une dysthymie légère, d'un trouble de l'adaptation avec humeur anxio-dépressive en rémission partielle, d'un trouble panique avec attaque de panique paucisymptomatique et agoraphobie légère, d'un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale de degré léger avec majoration volontaire des symptômes (sursimulation), d'une non-observance du traitement médical et d'une probable dépendance à l'alcool légère. Sur l'axe II, il a retenu une personnalité fruste à l'intelligence limitée, sur l'axe III, des lombalgies et une gonalgie gauche et sur l'axe IV, une séparation conjugale et des difficultés socio-professionnelles. Le docteur S._ a conclu à une incapacité de travail de 40 % au maximum depuis 1998. L'assuré a effectué un stage de préparation à une activité professionnelle au sein de l'atelier de menuiserie de la Fondation Y._ (ci-après: la fondation) du 26 août au 14 novembre 2002, lequel a été prolongé jusqu'au 11 février 2003. Dans un rapport d'évaluation du 10 février 2003, le maître d'atelier a conclu que F._ ne pouvait pas retourner dans le circuit économique car les activités effectuées pendant le stage démontraient «beaucoup d'impossibilités physiques». Selon lui, «beaucoup de choses [étaient] aussi liées à sa dépression et sans un travail et un suivi psychiatriques, il n'y [aurait] pas de progression». Il était par conséquent souhaitable d'éclaircir l'aspect médical. Dans un rapport du 24 février 2003, le docteur C._, généraliste et médecin traitant de l'assuré, a indiqué que l'état de santé de son patient était stationnaire, l'incapacité de travail se situant entre 40 et 50 %. L'OAI a confié un mandat d'expertise pluridisciplinaire à la Clinique romande de réadaptation (CRR), fonctionnant en tant que Centre d'observation médicale de l'assurance-invalidité (COMAI). Le rapport d'expertise (du 26 janvier 2004) a été établi par le docteur G._, directeur médical de la CRR, qui a rendu ses conclusions après avoir confié un consilium neurologique au docteur E._ et un consilium psychiatrique au docteur A._. Selon le docteur E._, les constatations étaient pauvres et les discordances relevées déjà par plusieurs intervenants apparaissaient au premier plan, notamment en ce qui concernait la mobilité lombaire. Pour ce praticien, il n'existait aucune pathologie neurologique susceptible d'expliquer les symptômes et d'interférer avec la capacité de travail. Le docteur A._ a retenu un syndrome somatoforme douloureux persistant, un épisode dépressif d'intensité moyenne et un trouble panique avec agoraphobie. Selon ce médecin, ses observations et conclusions rejoignaient pour l'essentiel celles du docteur S._. Il a conclu que les comorbidités psychiatriques du syndrome somatoforme douloureux persistant, à savoir les troubles dépressifs et anxieux, justifiaient une incapacité de travail de l'ordre de 40 %. En outre, il relevait un certain nombre de facteurs sortant du champ médical, tels que le milieu modeste, l'absence de formation professionnelle, les difficultés d'écriture et de lecture du français, l'entrée précoce dans la vie active, les emplois subalternes, les comportements agressifs occasionnels, l'éloignement familial ainsi que l'adoption de comportements régressés. Dans leur discussion de synthèse, les praticiens de la CRR ont estimé que l'ensemble de la symptomatologie justifiait une incapacité de travail de 50 % dans une activité adaptée. L'assuré demeurait apte à exercer une activité légère, sans port de charges supérieures à 5-8 kilos, permettant l'alternance des positions ainsi que des pauses répétées. En raison de l'échec des tentatives de réadaptation déjà entreprises, il n'y avait pas lieu de poursuivre dans cette voie mais l'assurance-invalidité pouvait intervenir par une aide au placement. Dans une activité lourde, l'incapacité de travail était complète. Enfin, la discordance entre l'incapacité médicale reconnue de 50 % et la non- reprise d'une activité lucrative était à mettre sur le compte de facteurs sortant du champ médical. A.c Le 2 juillet 2004, la doctoresse I._, médecin-chef du Service médical régional AI (SMR), a contesté le diagnostic de trouble somatoforme douloureux dans la mesure où il existait une base somatique aux plaintes de l'assuré et que la notion de détresse faisait défaut. Elle a en outre estimé que les conclusions des experts sur l'incapacité de travail n'étaient pas claires. Le 22 novembre 2004, le docteur G._ a établi un rapport complémentaire dans lequel il a maintenu les conclusions prises précédemment, en réitérant que l'aspect somatique observé au jour de l'expertise ne s'était pas modifié depuis 1998. Dans un rapport du 24 janvier 2005, la doctoresse I._ a conclu à une incapacité de travail de 40 % dans toute activité en raison des troubles psychiques et des limitations fonctionnelles somatiques contre-indiquant l'activité de maçon. Par décision du 13 juillet 2005, confirmée sur opposition le 4 décembre 2006, l'OAI a maintenu le droit de l'assuré à un quart de rente. Il a fixé le taux d'invalidité à 46 % en se fondant sur un revenu d'invalide de 29'481 fr. 15, calculé sur la base des données ressortant de l'Enquête suisse sur la structure des salaires (ESS) de l'Office fédéral de la statistique en 2003 - compte tenu d'une capacité résiduelle de travail de 60 % et d'un abattement de 15 % - et d'un revenu sans invalidité de 54'581 fr. 65. B. Par jugement du 29 octobre 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition du 4 décembre 2006. C. F._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme, en ce sens qu'il a droit à une demi-rente d'invalidité. Il requiert ensuite le renvoi de la cause à l'intimé pour qu'il fixe dans une nouvelle décision la date du début du droit à la demi-rente ainsi que son montant. Le recourant demande en outre l'octroi de l'assistance judiciaire. L'office intimé conclut implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se prononcer.