Faits:
A. A.a A._, née en 1957, a travaillé comme ouvrière dans un atelier de montage. Licenciée le 31 mai 1998 pour des raisons de restructuration, elle a déposé le 24 février 1999 une demande de prestations de l'assurance-invalidité auprès de l'Office AI pour le canton de Vaud (ci-après: l'OAI).
Dans le cadre de l'instruction de cette demande, l'OAI a recueilli les renseignements médicaux usuels auprès de la doctoresse C._, spécialiste FMH en médecine interne et maladies rhumatismales et médecin traitant. Celle-ci a posé le diagnostic de trouble somatoforme douloureux, qui engendrait une incapacité de travail totale (rapports des 31 mars 1999 et 25 septembre 2001).
L'OAI a confié la réalisation d'une expertise au docteur S._, spécialiste FMH en psychiatrie et psychothérapie. Ce médecin a retenu les diagnostics de trouble somatoforme indifférencié de degré léger, de personnalité à traits dépendants et de difficultés professionnelles, licenciements. La capacité de travail était actuellement de 80% au moins dans une activité adaptée mais avait peut-être été inférieure entre 1997-1998 et 2000 (rapport d'expertise du 27 septembre 2002).
Par décision du 28 avril 2003 confirmée sur opposition le 24 juin 2004, l'OAI a alloué à l'assurée une rente entière d'invalidité limitée dans le temps pour la période courant du 1er mars 1999 au 31 mars 2000. Le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud), puis le Tribunal fédéral, ont rejeté les recours de l'assurée (jugement du 17 octobre 2005, respectivement arrêt I 53/06 du 22 mars 2007).
A.b Le 20 décembre 2007, A._ a déposé une nouvelle demande auprès de l'OAI, tendant à l'octroi d'une rente.
Interrogée par l'administration, la doctoresse C._ a posé les diagnostics avec répercussion sur la capacité de travail de dépression sévère, de syndrome douloureux chronique associé à des rachialgies sur troubles dégénératifs, de gonarthrose débutante et de fibromyalgie évoluant depuis 1996; sa patiente, dont l'état de santé s'aggravait, était en incapacité totale de travail depuis mars 1998 (rapport du 14 janvier 2008). La doctoresse B._, spécialiste FMH en médecine physique et rééducation, du service orthopédique de l'hôpital X._, a signalé notamment l'existence d'un syndrome douloureux chronique de l'appareil locomoteur d'origine multifactorielle (rachialgies à prédominance lombaire sur discopathies étagées, arthrose postérieure et spondylolisthésis dégénératif de L5 sur S1, fibromyalgie, déconditionnement musculaire sévère sur inactivité), d'un épisode dépressif sévère et de troubles de la personnalité avec traits dépendants et passifs agressifs; elle estimait que l'incapacité de travail était totale (rapport du 11 février 2008).
L'OAI s'est ensuite adressé au docteur H._, spécialiste FMH en psychiatrie et psychothérapie et médecin traitant, qui a retenu les diagnostics d'épisode dépressif sévère, de trouble psychotique et de syndrome douloureux persistant avec troubles dégénératifs, et conclu à une incapacité de travail totale depuis mars 1998 (rapport du 14 février 2008).
Les docteurs G._, spécialiste en médecine interne et rhumatologie et O._, spécialiste FMH en psychiatrie, médecins-conseils au SMR, n'ont retenu aucun diagnostic avec répercussion sur la capacité de travail (rapport du 22 mai 2008).
Par décision du 30 septembre 2008, l'OAI a rejeté la demande.
B. Saisie d'un recours de l'assurée, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a ordonné une expertise judiciaire qu'elle a confiée au docteur F._, spécialiste FMH en psychiatrie et psychothérapie, lequel s'est adjoint comme coexperte les services du docteur L._, spécialiste FMH en rhumatologie et médecine interne. Au terme de leur discussion, les experts ont posé de manière consensuelle les diagnostics de syndrome douloureux somatoforme persistant, d'épisode dépressif moyen, de signes d'un syndrome trophostatique avec une projection antérieure du cou, de ptose des épaules et d'affaiblissement du tronc, qui n'engendraient aucune incapacité de travail (rapports d'expertise des 29 juin et 1er juillet 2010). Le recours a été rejeté par jugement du 12 mai 2011.
C. A._ interjette un recours en matière de droit public contre ce jugement, dont elle requiert l'annulation. Elle conclut principalement à l'octroi d'une rente entière de l'assurance-invalidité à partir du 1er mars 1998. Elle demande subsidiairement le renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants.
Considérant en droit:
1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). A ce sujet, on rappellera que les constatations de la juridiction cantonale sur l'atteinte à la santé (diagnostic, pronostic, etc.) et l'évaluation de la capacité de travail (résiduelle), ainsi que sur le point de savoir si l'état de santé ou la capacité de travail se sont modifiés d'une manière déterminante sous l'angle de la révision au cours d'une certaine période (arrêt 9C_270/2008 du 12 août 2008 consid. 2.2), sont en principe des questions de fait (ATF 132 V 393 consid. 3.2 p. 397).
2. En ce que la recourante demande l'octroi d'une rente de l'assurance-invalidité pour la période antérieure à juin 2004, elle remet en cause la décision, entrée en force, rendue le 24 juin 2004 par l'OAI. Dans cette mesure, ses conclusions sont irrecevables.
Dès lors, le litige porte uniquement sur le droit de la recourante à une rente d'invalidité au-delà de cette date, singulièrement sur le point de savoir si son état de santé s'est notablement modifié entre ce moment et septembre 2008, à tel point qu'elle présente un taux d'invalidité lui ouvrant le droit à une rente de l'assurance-invalidité.
2.1 Lorsque l'administration entre en matière sur une nouvelle demande, elle doit examiner l'affaire au fond, et vérifier que la modification du degré d'invalidité rendue plausible par l'assuré est réellement intervenue. Elle doit par conséquent procéder de la même manière qu'en cas de révision au sens de l'art. 17 LPGA (cf. ATF 130 V 71 consid. 3 p. 73 ss). S'agissant des principes jurisprudentiels applicables en cas de révision du droit à une rente d'invalidité (ATF 133 V 108 consid. 5.3 p. 112 ss; 125 V 368 consid. 2 p. 369, 112 V 372 consid. 2b p. 372), on peut renvoyer au jugement entrepris. Les premiers juges ont également exposé les critères permettant d'apprécier le caractère invalidant d'un trouble somatoforme douloureux (ATF 130 V 352 consid. 2.2.3 p. 354 s.; cf. aussi ATF 131 V 49 consid. 1.2 p. 50 s.) et de déterminer la valeur probante d'un rapport médical (ATF 125 V 351 consid. 3a p. 352; ATF 122 V 157 consid. 1c p. 160 et les références; arrêt 9C_1023/2008 du 30 juin 2009 consid. 2.1.1).
2.2 Lorsque l'autorité cantonale juge l'expertise judiciaire concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (arrêt 4P.263/2003 du 1er avril 2004, consid. 2.1; voir également ATF 125 V 351 consid. 3b/aa p. 352 et les références).
3. 3.1 La juridiction cantonale a nié toute aggravation de l'état de santé de la recourante susceptible de modifier son droit à la rente pendant la période déterminante. Les rapports d'expertise judiciaire, qui revêtaient pleine valeur probante et correspondaient largement aux constatations des médecins du SMR, concluaient à une capacité de travail entière dans une activité adaptée. L'appréciation des médecins traitants - qui retenaient les mêmes diagnostics que les experts - quant à la capacité de travail ne pouvait pas être suivie, compte tenu qu'ils avaient reconnu les plaintes subjectives de la recourante comme invalidantes sans les confronter aux éléments objectifs.
3.2 La recourante reproche à la juridiction cantonale d'avoir constaté les faits de manière arbitraire en s'écartant de l'opinion de ses médecins traitants, qui s'accordent sur l'absence de toute capacité résiduelle de travail. Ceux-ci seraient mieux placés que les experts pour se prononcer sur l'évolution de son état de santé.
3.3 La recourante ne démontre pas en quoi les premiers juges auraient procédé à une appréciation arbitraire des faits. Elle n'oppose aucun argument au raisonnement tenu par l'instance cantonale pour conclure à la pleine valeur probante des rapports d'expertise judiciaire et ne mentionne aucun défaut évident dont ceux-ci seraient entachés. En affirmant que l'avis de ses médecins traitants aurait dû prévaloir sur celui des experts, elle méconnaît la jurisprudence constante sur les rôles divergents de ces deux catégories de médecins en vertu de leurs rôles respectifs (cf. notamment ATF 124 I 170 consid. 4 p. 175; arrêt 9C_751/2010 du 20 juin 2011 consid. 2.2).
4. Compte tenu de ce qui précède, le recours se révèle mal fondé.
5. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de la recourante, qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 18 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Borella
Le Greffier: Bouverat