Faits:
A. H._, née en 1961, sans formation ni activité professionnelle, a déposé une première demande de prestations de l'assurance-invalidité (AI) le 27 août 1999. Dans un questionnaire du 1er septembre 1999, l'assurée a indiqué qu'elle aurait exercé une activité lucrative à 100% si elle avait été en bonne santé, par nécessité financière. Par décision du 1er mai 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a rejeté sa demande. Suite à ce refus, H._ a déposé une nouvelle demande de prestations le 21 mai 2001, sur laquelle l'OAI n'est pas entré en matière (cf. décision du 6 janvier 2003). Une troisième demande de prestations a été déposée par l'assurée le 5 décembre 2003, sur laquelle l'OAI n'est pas non plus entré en matière (cf. décision du 14 mai 2004). Après que l'assurée eut déposé une quatrième demande de rente le 25 février 2005 en se fondant sur un rapport de son médecin traitant, le docteur B._ (généraliste) du 24 décembre 2004, l'OAI a rendu une décision de non-entrée en matière le 18 mai 2005. L'assurée a formé opposition contre cette décision, en produisant un nouveau rapport du docteur B._, du 9 juin 2005. De son côté, l'OAI a demandé l'avis de son Service médical régional (SMR), lequel a rendu son rapport le 24 juillet 2006. Par une nouvelle décision du 27 octobre 2006, l'OAI a confirmé sa décision de non-entrée en matière du 18 mai 2005, motif pris que l'assurée n'avait pas rendu plausible une aggravation de son état de santé.
B. Saisi d'un recours de l'assurée contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 7 mai 2008.
C. H._ interjette un recours en matière de droit public contre ce jugement dont elle demande la réforme en ce sens que la cause est renvoyée à l'OAI pour instruction complémentaire et nouvelle décision. Elle demande en outre à être mise au bénéfice de l'assistance judiciaire gratuite.
L'OAI a conclu au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le litige porte sur le point de savoir si c'est à juste titre que l'administration a refusé d'entrer en matière sur la nouvelle demande déposée par la recourante.
2. Aux termes de l'art. 87 al. 3 et 4 RAI, la nouvelle demande ne peut être examinée que si l'assuré établit de manière plausible que son invalidité s'est modifiée de façon à influencer ses droits. Ainsi, l'administration doit d'abord déterminer si les allégations de l'intéressé sont crédibles. Si tel n'est pas le cas, l'affaire est liquidée d'entrée de cause, sans investigations, par un refus d'entrer en matière. Par contre, si l'administration entre en matière, elle doit instruire la cause et déterminer si la modification de l'invalidité s'est effectivement produite. En cas de recours, cet examen matériel incombe au juge (<ref-ruling> consid. 3a).
3. Se fondant sur l'avis du SMR, du 24 juillet 2006, le Tribunal cantonal des assurances a retenu que les deux rapports du docteur B._ des 24 décembre 2004 et 9 juin 2005 versés à l'appui de la nouvelle demande de prestations ne faisaient pas état d'une aggravation objective de l'état de santé physique ou psychique de la recourante. Sur le plan somatique, les diverses affections connues, telles l'obésité morbide, le diabète et l'instabilité tensionnelle, n'étaient pas invalidantes. Sur le plan psychiatrique, les soupçons du docteur B._ sur l'existence d'une éventuelle pathologie plus grave que l'anxiété déjà attestée dans le passé ne se fondaient sur aucun élément objectif. On relèvera encore qu'en ce qui concerne l'appréciation de la capacité de travail, elle ne différait pas non plus de celle retenue antérieurement par le docteur B._, celui-ci ayant toujours estimé que les troubles de la recourante, couplés à son illettrisme, l'empêchaient d'exercer toute activité lucrative. Aussi, dans la mesure où la recourante n'a pas rendu plausible le fait que son degré d'invalidité s'était modifié de manière à influencer ses droits, c'est à juste titre que l'OAI a refusé d'entrer en matière sur la nouvelle demande.
4. Succombant, la recourante doit en principe supporter un émolument judiciaire. Compte tenu des circonstances, il se justifie cependant de statuer sans frais (art. 66 al. 1, 2e phrase LTF). La requête d'assistance judiciaire est dès lors sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
3. La requête d'assistance judiciaire est sans objet.
4. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 10 juin 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz