Faits:
A. S._ a travaillé à temps partiel comme réceptionniste-téléphoniste pour le compte de l'Hôpital X._ à partir du 5 mars 1990. A ce titre, elle a été affiliée pour la prévoyance professionnelle auprès de la Fondation de prévoyance professionnelle du Groupement des Hôpitaux Régionaux Vaudois (aujourd'hui : Fondation interprofessionnelle sanitaire de prévoyance [ci-après : la fondation]).
En sus de son activité de réceptionniste-téléphoniste, elle a été engagée par l'Hôpital X._ en qualité d'aide-infirmière-veilleuse dès le 1er mai 1993 à raison de 5 à 6 nuits par mois. Elle a renoncé à cette activité avec effet au 31 mars 1994 en raison de lombalgies, de migraines et d'un état dépressif.
Tout en poursuivant son activité de réceptionniste-téléphoniste pour le compte de l'Hôpital X._, S._ a été engagée pour le 1er février 1995 par l'ASMADO (Association pour la santé, la prévention, le maintien à domicile et l'aide à la famille des districts de Y._ et de X._) en qualité d'auxiliaire polyvalente auprès du Centre médico-social X._. Il s'agissait d'un travail à la demande rémunéré à l'heure, pour lequel l'employée n'a jamais été affiliée à une institution de prévoyance, faute d'obtenir un salaire atteignant le minimum LPP. Elle a dû cesser cette activité pour le 31 janvier 1997, également pour des raisons de santé.
En effet, selon un rapport du 5 février 1997 du docteur M._, spécialiste FMH en médecine interne et rhumatologie et médecin traitant, S._ présentait une incapacité totale de travail dans son activité d'aide-soignante depuis le 12 septembre 1996. Ce médecin avait précédemment constaté que les atteintes à la santé existaient depuis de nombreuses années, mais n'avait retenu une capacité de travail réduite de 50 % dans une activité légère qu'à partir de septembre 1996 (rapport du 24 décembre 1996). Le 15 décembre 1996, l'assurée a déposé une demande de prestations de l'assurance-invalidité.
Par décision du 26 janvier 1998, l'Office de l'assurance-invalidité pour le canton de Vaud a alloué à S._ une demi-rente d'invalidité à compter du 1er septembre 1997. La rente a été réduite à un quart de rente avec effet au 1er avril 2007, puis portée à nouveau à une demi-rente à partir du 1er septembre 2009 (décisions des 20 février 2007 et 31 août 2009).
B. Le 20 mars 2008, S._ a ouvert action contre la fondation devant le Tribunal cantonal du Canton de Vaud, Cour des assurances sociales, concluant au versement d'une demi-rente d'invalidité pour la période de septembre 1997 à mars 2007, d'un quart de rente pour la période d'avril 2007 à juillet 2007 et à nouveau d'une demi-rente dès août 2007, ainsi que d'une demi-rente pour enfant pour la période de septembre 1997 à mars 1999.
Par jugement du 5 mars 2011, la juridiction cantonale a rejeté la demande.
C. S._ interjette un recours en matière de droit public contre ce jugement. Elle conclut principalement à la réforme du jugement cantonal au sens de ses conclusions de première instance et, subsidiairement, au renvoi de l'affaire pour nouvelle décision. Elle sollicite également le bénéfice de l'assistance judiciaire.
D. La fondation conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
E. S._ a fait usage de son droit de réplique en présentant des observations datées du 18 octobre 2011.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente ; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
1.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2. Est litigieuse la question du droit de la recourante à une rente d'invalidité de la prévoyance professionnelle de la part de la fondation à partir de septembre 1997. La juridiction cantonale expose correctement les dispositions légales ainsi que les principes jurisprudentiels applicables en la matière de sorte qu'il suffit d'y renvoyer.
3. Dans un premier temps, la juridiction cantonale a retenu que les problèmes de santé de la recourante n'avaient pas eu d'influence sur sa capacité à exercer son activité de réceptionniste-téléphoniste à temps partiel pour le compte de l'Hôpital X._. Relevant que les salaires réalisés par la recourante dans son activité de réceptionniste-téléphoniste avaient toujours régulièrement augmenté entre mars 1990 et décembre 2007, elle en a déduit qu'il n'y avait pas eu d'incapacité de travail dans cette activité et qu'en conséquence le risque «invalidité» n'était pas réalisé, ce qui excluait le droit aux prestations. Dans un second temps, les premiers juges ont considéré que les problèmes de santé de la recourante apparus en 1994, alors qu'elle travaillait en qualité d'aide-infirmière-veilleuse pour le compte de l'Hôpital X._, n'avaient aucun lien de connexité temporelle avec l'incapacité de travail médicalement attestée dès septembre 1996, l'intéressée ayant travaillé entre-temps, soit du 1er février 1995 au 12 septembre 1996 (date du début de l'incapacité de travail attestée par le docteur M._) comme auxiliaire polyvalente pour le compte du Centre médico-social X._ sans subir aucune incapacité de travail durable. Dès lors, en l'absence de connexité temporelle, il était inutile selon la juridiction cantonale d'examiner si la recourante était assurée pour son activité d'aide-infirmière-veilleuse entre 1993 et 1995. Finalement, elle a retenu que l'incapacité de travail de la recourante dans son activité accessoire avait débuté en septembre 1996 alors qu'elle travaillait comme auxiliaire polyvalente auprès du Centre médico-social X._.
4. 4.1 La recourante invoque une constatation manifestement incomplète des faits, dans la mesure où la juridiction cantonale n'a pas établi qu'elle était assurée par l'intimée pour son activité d'aide-infirmière-veilleuse. Les premiers juges auraient retenu de façon erronée que ses salaires avaient régulièrement augmenté entre 1990 et 2007, alors qu'il ressortait des déclarations de salaires faites par l'employeur à l'intimée qu'en 1994 et 1995 son salaire avait baissé.
4.2 L'art. 4.1 du règlement de la Fondation de prévoyance professionnelle du Groupement des Hôpitaux régionaux vaudois (ci-après : le règlement) renvoie à son annexe 5 qui définit le salaire assuré comme le salaire de base auquel s'ajoutent certaines autres prestations salariales. Compte tenu de cette définition, il y a lieu d'admettre que le salaire de réceptionniste-téléphoniste constituait un salaire de base au même titre que le salaire d'aide-infirmière-veilleuse durant la période du 1er mai 1993 au 31 mars 1994. Tous deux faisaient donc partie du salaire assuré. Si c'est effectivement à tort que la juridiction cantonale a constaté que «les salaires réalisés par la demanderesse au service de l'Hôpital X._ ont constamment et régulièrement augmenté durant la période courant du 15 mars 1990 au 31 décembre 2007», il faut retenir que cette erreur ne porte toutefois pas à conséquence, le détail des salaires assurés étant quant à lui exact. Ce relevé démontre effectivement que le salaire assuré de la recourante a nettement augmenté en 1993 puis baissé en 1994, de sorte qu'on peut retenir au degré de vraisemblance prépondérante qu'il incluait l'activité d'aide-infirmière-veilleuse. Il y a donc lieu de constater que l'employeur a satisfait à son obligation d'assurer la recourante pour son activité d'aide-infirmière-veilleuse. Cet élément n'est toutefois pas déterminant comme cela ressort du considérant suivant.
5. 5.1 La recourante fait valoir que pour statuer sur ses prétentions la juridiction cantonale aurait dû déterminer la diminution de rendement tant dans l'activité de réceptionniste-téléphoniste que dans celle d'aide-infirmière-veilleuse. Faute d'avoir établi ce fait, l'état de fait devrait être considéré comme incomplet.
5.2 Dans son mémoire (p. 12), la recourante a toutefois admis qu'elle n'avait pas subi d'incapacité de travail dans son activité de réceptionniste-téléphoniste exercée à temps partiel entre 1990 et 2007, reconnaissant ainsi l'absence de diminution de rendement dans cette activité. En présence d'une telle affirmation, une administration complémentaire de preuves n'était et n'est pas nécessaire et la juridiction cantonale pouvait donc statuer sur la base des pièces du dossier sans qu'il soit possible de lui reprocher d'avoir statué en se fondant sur un état de fait incomplet.
6. 6.1 La recourante reproche à la juridiction cantonale d'avoir violé le droit fédéral en appliquant l'art. 23 aLPP en lieu et place de l'art. 8 al. 1 du règlement. Selon elle, cette disposition réglementaire - à l'inverse tant de l'art. 23 aLPP dans sa teneur jusqu'au 31 décembre 2004 que de l'art. 23 let. a LPP en vigueur depuis le 1er janvier 2005 - ne suppose pas l'existence d'une connexité matérielle et temporelle pour avoir droit aux prestations. Il s'agirait d'une facilité accordée à l'assuré dans le cadre de la prévoyance surobligatoire.
6.2 L'art. 23 aLPP, identique sur ce point à l'art. 23 let. a LPP, règle les conditions du droit aux prestations et, dans cette mesure, est susceptible d'être modifié dans le régime de la prévoyance surobligatoire (art. 49 al. 2 LPP a contrario). Il a aussi pour but de délimiter les responsabilités entre les institutions de prévoyance, lorsque le travailleur a changé d'institution de prévoyance ou n'est plus assuré au moment où survient une invalidité. Sur ce point, les conditions posées par l'art. 23 aLPP, respectivement par l'art. 23 let. a LPP, excluent que chaque institution de prévoyance fixe ses propres règles en délimitant elle-même sa responsabilité. L'art. 8 al. 1 du règlement doit donc s'interpréter au regard de l'art. 23 aLPP en ce qui concerne le partage des responsabilités. En effet, l'intimée ne pourrait pas refuser ses prestations à un ancien assuré, qui était assuré au moment où est survenue l'incapacité de travail dont la cause est à l'origine de l'invalidité, au motif qu'il n'était plus assuré au début de celle-ci. A l'inverse, cet article ne peut pas être interprété dans le sens qu'il suffit d'être assuré pour pouvoir bénéficier des prestations sans égard au début de l'incapacité de travail.
C'est dès lors à juste titre que la juridiction cantonale a exigé une connexité matérielle et temporelle, inhérente à la prévoyance professionnelle plus étendue également en tant que principe d'assurance (ATF 123 V 262). C'est également à bon droit qu'elle a nié la connexité temporelle du fait que la recourante a été en mesure d'exercer une activité d'auxiliaire polyvalente du 1er février 1995 au 12 septembre 1996, soit durant plus de 18 mois, auprès du Centre médico-social X._, sans qu'aucune incapacité de travail durable n'ait pu être démontrée.
7. 7.1 Enfin, la recourante invoque une violation de l'art. 8 al. 1 du règlement par la juridiction cantonale, dès lors qu'elle aurait à tort constaté que l'assurée n'était pas incapable de travailler en 1994, respectivement qu'elle aurait omis de constater que même si elle n'avait pas été incapable de travailler, elle présentait une invalidité au sens de l'assurance-invalidité.
Cet argument n'est pas pertinent. Les premiers juges ont retenu que les troubles qui avaient conduit la recourante à cesser son activité en 1994 (lombalgies, migraines et état dépressif) ne l'avaient pas empêchée de reprendre une activité d'auxiliaire polyvalente auprès du Centre médico-social X._. Selon leurs constatations, c'était en raison d'une exacerbation de ses douleurs lombaires survenues à la fin de l'année 1996 que la demanderesse avait été contrainte de mettre un terme à son activité auprès de cet établissement. Cela étant, même si l'on devait admettre que la recourante était incapable de travailler ou qu'elle était invalide au sens de l'assurance-invalidité en 1994, elle n'aurait pas droit aux prestations faute de connexité temporelle entre l'incapacité de travail prétendue pour l'année 1994 et l'invalidité survenue en 1996.
8. Pour tous ces motifs, le recours doit être rejeté.
9. La recourante voit ses conclusions rejetées, de sorte qu'elle doit en principe supporter les frais de justice et ses propres dépens (art. 66 al. 1 et 68 al. 1 LTF). Elle a toutefois déposé une demande d'assistance judiciaire. Dès lors que le recours n'était pas dénué de chances de succès, que l'indigence de la recourante est établie et que l'assistance d'un avocat est justifiée (art. 64 al. 1 et 2 LTF), il convient de lui accorder l'assistance judiciaire. La recourante est toutefois rendue attentive au fait qu'elle devra rembourser la caisse du Tribunal si elle se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée à la recourante.
3. Les frais judiciaires, arrêtés à 500 fr. sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Me Pierre-Alain Killias est désigné en tant qu'avocat d'office de la recourante et une indemnité de 2'800 fr. lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen