Faits:
A. A.a F._, née en 1952, secrétaire de formation, a bénéficié d'une rente entière de l'assurance-invalidité du 1er juin 1985 au 30 novembre 1989, en raison de diverses séquelles d'un accident de la route survenu en 1984 (perte de la rate et d'un rein, arthrodèse de la cheville gauche avec raccourcissement du membre inférieur de six centimètres). Par décision du 20 octobre 1989, son droit à la rente d'invalidité a été supprimé à partir du 1er décembre 1989 au motif qu'elle avait recouvré une capacité de travail et de gain totale dans une activité adaptée. Par la suite, l'assurée a travaillé à 50 %, en qualité de dame de buffet dans l'entreprise familiale jusqu'à la fermeture de l'établissement en 1996.
A.b Le 25 octobre 1999, F._ a déposé une nouvelle demande de prestations, sollicitant l'octroi de mesures professionnelles. Son médecin traitant, le docteur H._, spécialiste FMH en médecine interne, a attesté qu'elle souffrait d'oedèmes progressifs à la jambe gauche dès que ce membre n'était pas surélevé. Par décision du 19 juin 2002, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) a nié le droit de l'assurée à toutes prestations sur la base d'un taux d'invalidité de 3,8 %, sa capacité de travail étant de 100 % dans une activité adaptée.
Saisi d'un recours formé par l'assurée, le Tribunal des assurances du canton de Vaud (aujourd'hui: Tribunal cantonal du canton de Vaud, Cour des assurances sociales) l'a admis et annulé la décision attaquée (jugement du 5 février 2004). Par arrêt du 29 mars 2005, le Tribunal fédéral des assurances a admis le recours de l'office AI et annulé le jugement cantonal (cause I 236/04).
B. A partir d'octobre 2008, l'assurée a participé au processus CII-MAMAC porté conjointement par l'assurance-chômage, l'assurance-invalidité et l'aide sociale, et ayant pour but de réinsérer dans le marché de l'emploi les personnes présentant une problématique complexe. Selon la fiche CII-MAMAC du 14 avril 2010 établie à l'issue du programme, l'assurée semblait «plutôt simple d'esprit» et ne pouvait de ce fait travailler qu'en milieu protégé. Après avoir pris conseil auprès de son Service médical régional (SMR), l'office AI a informé l'assurée qu'il comptait réexaminer son droit aux prestations de l'assurance-invalidité. Le 5 novembre 2010, l'assurée a présenté une nouvelle demande de prestations tendant à l'octroi d'une rente.
Dans le cadre de l'instruction de cette demande, l'office AI a diligenté une expertise neuropsychologique qui a été réalisée par R._, psychologue FSP spécialisée en neuropsychologie, sophrologue caycédienne. L'examen neuropsychologique a mis en évidence un quotient intellectuel total de 80 et les limitations suivantes: éviter la conduite d'un véhicule en situation complexe, les situations de double-tâches, les interférences, les tâches complexes faisant appel à l'auto-organisation et à l'autogestion, les contraintes temporelles dans les tâches complexes, et ne pas donner plusieurs informations à la suite ou permettre à l'assurée de prendre des notes; les activités de restauratrice et de secrétaire (sauf aide de bureau exécutant des tâches très rudimentaires) n'étaient pas exigibles. En revanche, dans une activité adaptée, la capacité de travail était totale avec toutefois une diminution de rendement de l'ordre de 30 %, pouvant varier selon le type de tâche (rapport du 7 avril 2011).
Par projet de décision du 22 septembre 2011, l'office AI a informé l'assurée qu'il avait l'intention de rejeter sa demande de prestations, au motif qu'elle ne présentait pas de nouvelle atteinte significative depuis la dernière décision entrée en force, les limitations neuropsychologiques étant «selon toute vraisemblance déjà existantes lors de la décision du 19 juin 2002». Par décision du 1er novembre 2011, l'administration a formellement confirmé sa position.
C. Par acte du 1er décembre 2011, F._ saisit le Tribunal fédéral d'une demande de révision de son arrêt I 236/04 du 29 mars 2005. Sur le rescindant, elle requiert, sous suite de frais et dépens, l'annulation de cet arrêt. Sur le rescisoire, elle conclut principalement à l'octroi d'une rente entière d'invalidité à compter du 1er octobre 1998 et subsidiairement au renvoi du dossier à l'office AI pour instruction complémentaire et nouvelle décision au sens des considérants. Elle assortit son recours d'une demande d'assistance judiciaire limitée aux frais de justice.
L'office AI et l'Office fédéral des assurances sociales ont renoncé à se déterminer. F._ s'est exprimée une dernière fois le 14 février 2012.
Considérant en droit:
1. En vertu de l'art. 123 al. 2 let. a LTF, la révision peut être demandée dans les affaires civiles et les affaires de droit public, si le requérant découvre après coup des faits pertinents ou des moyens de preuve concluants qu'il n'avait pas pu invoquer dans la procédure précédente, à l'exclusion des faits ou moyens de preuve postérieurs à l'arrêt.
Selon la jurisprudence, ne peuvent justifier une révision que les faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables, mais qui n'étaient pas connus du requérant malgré toute sa diligence; en outre, ces faits doivent être pertinents, c'est-à-dire qu'ils doivent être de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte (ATF 134 III 669 consid. 2.2 p. 671 et les références). Les preuves, quant à elles, doivent servir à prouver soit les faits nouveaux importants qui motivent la révision, soit des faits qui étaient certes connus lors de la procédure précédente, mais qui n'avaient pas pu être prouvés, au détriment du requérant. Si les nouveaux moyens sont destinés à prouver des faits allégués antérieurement, le requérant doit aussi démontrer qu'il ne pouvait pas les invoquer dans la précédente procédure. Une preuve est considérée comme concluante lorsqu'il faut admettre qu'elle aurait conduit le juge à statuer autrement s'il en avait eu connaissance dans la procédure principale. Ce qui est décisif, c'est que le moyen de preuve ne serve pas à l'appréciation des faits seulement, mais à l'établissement de ces derniers. Ainsi, il ne suffit pas qu'une nouvelle expertise donne une appréciation différente des faits; il faut bien plutôt des éléments de fait nouveaux, dont il résulte que les bases de la décision entreprise comportaient des défauts objectifs. Pour justifier la révision d'une décision, il ne suffit pas que l'expert tire ultérieurement, des faits connus au moment du jugement principal, d'autres conclusions que le tribunal. Il n'y a pas non plus motif à révision du seul fait que le tribunal paraît avoir mal interprété des faits connus déjà lors de la procédure principale. L'appréciation inexacte doit être, bien plutôt, la conséquence de l'ignorance ou de l'absence de preuve de faits essentiels pour le jugement (cf. ATF 127 V 353 consid. 5b p. 358 et les références; cf. également arrêt 9F_9/2008 du 15 septembre 2008 consid. 2.2).
2. Aux termes de l'art. 124 al. 1 let. d LTF, une demande de révision fondée sur l'art. 123 al. 2 let. a LTF doit être déposée devant le Tribunal fédéral dans les 90 jours qui suivent la découverte du motif de révision, mais au plus tôt dès la notification de l'expédition complète de l'arrêt. En l'espèce, le conseil de la requérante n'a eu connaissance du motif de révision que le 24 novembre 2011, date à laquelle le dossier AI lui est parvenu. L'assurée allègue n'avoir reçu auparavant aucune copie du rapport neuropsychologique du 7 avril 2011. Agissant par acte du 1er décembre 2011, la requérante a donc respecté le délai légal de 90 jours.
3. A l'appui de sa demande de révision, la requérante fait valoir comme motif de révision la découverte d'importantes limitations intellectuelles mises en évidence dans le rapport neuropsychologique du 7 avril 2011. Elle soutient que compte tenu de ces limitations, qui existaient déjà avant la décision du 19 juin 2002 de l'intimé, seule une activité occupationnelle était en fin de compte exigible; ainsi, elle aurait pu prétendre une rente entière d'invalidité. Concernant la date de la naissance de ce droit, elle s'en remet à justice, en considérant toutefois qu'il devrait débuter un an avant le dépôt de sa demande le 25 octobre 1999 conformément aux règles applicables à l'époque.
4. 4.1 Selon les pièces constituant le dossier de la procédure antérieure, aucun des médecins qui se sont prononcés à l'époque, dont en particulier le médecin traitant de la requérante, le docteur H._, n'a fait état de difficultés intellectuelles chez la requérante, voire d'un déficit mental. Ce n'est qu'en 2010, en constatant l'échec des mesures de réinsertion mises en place par le biais du processus MAMAC, que la possibilité d'un quotient intellectuel bas a été soulevée pour la première fois (cf. fiche CII-MAMAC du 14 avril 2010). Avant cette date, il n'y a eu aucun indice qui aurait permis de soupçonner la présence de limitations intellectuelles, de sorte qu'il ne peut être reproché ni à l'administration, ni à l'assurée, de les avoir méconnues. Il n'est par ailleurs pas contesté, ni contestable au degré de vraisemblance prépondérante, que les limitations retenues existaient déjà au moment où l'intimé a rendu sa décision, soit le 19 juin 2002. Dès lors, elles constituent un fait nouveau au sens de l'art. 123 al. 2 let. a LTF.
4.2 Toutefois, cela ne suffit pas encore à fonder un motif de révision de l'arrêt entrepris; encore faut-il que l'élément nouveau soit de nature à modifier l'état de fait qui est à la base de l'arrêt principal et à conduire à un jugement différent en fonction d'une appréciation juridique correcte.
5. 5.1 Dans l'arrêt du 29 mars 2005, le Tribunal fédéral des assurances, qui avait à l'époque un plein pouvoir de cognition selon les règles de procédure applicables (cf. art. 132 aOJ; l'arrêt en question ayant été rendu avant l'entrée en vigueur de l'art. 132 al. 2 aOJ [dans sa teneur selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI] et de la LTF), a admis que la requérante avait une capacité de travail de 100 % dans une activité adaptée, soit excluant les déplacements à pied constants, les positions debout immobiles prolongées, ainsi que la montée et la descente régulière des escaliers. Pour déterminer le revenu d'invalide, le Tribunal fédéral a constaté que l'office AI s'était basé sur le salaire annuel moyen de 40'193 fr. correspondant aux postes d'employée de bureau, vendeuse dans un kiosque de quartier et ouvrière d'usine dans le montage industriel, ces activités étant compatibles avec les limitations fonctionnelles. Toutefois, au regard du nombre restreint de postes de travail envisagés, le Tribunal fédéral a préféré se référer aux données statistiques salariales. Compte tenu de l'activité légère de substitution encore raisonnablement exigible, le salaire de référence était celui auquel pouvaient prétendre les femmes effectuant des activités simples et répétitives dans le secteur privé selon l'Enquête suisse sur la structure des salaires 2000 (Tableau TA1, niveau de qualification 4) soit 43'896 fr. par année. Après adaptation à l'année 2001 et réduction de 20 %, il en résultait un revenu d'invalide de 37'524 fr. La comparaison de ce revenu avec le revenu sans invalidité de 41'730 fr. faisait apparaître un taux d'invalidité de 10 %.
5.2 Il y a lieu de constater que la connaissance de l'existence d'un quotient intellectuel à la limite de la moyenne inférieure n'aurait pas amené le Tribunal fédéral à apprécier différemment la situation de la requérante.
5.2.1 Au regard du genre d'activités exigibles retenues précédemment par le Tribunal fédéral, à savoir des activités simples et répétitives, il convient d'admettre que celles-ci sont encore exigibles malgré les limitations constatées par la neuropsychologue R._. Selon les conclusions de l'examen neuropsychologique, seules les activités de restauratrice et de secrétaire sont incompatibles avec les nouvelles limitations (la fonction d'aide de bureau pour des tâches très rudimentaires étant néanmoins réalisable). En revanche, les professions de vendeuse dans un kiosque ou d'ouvrière d'usine, qui avaient été proposées par l'intimé, n'ont pas été écartées. Il existe au demeurant un nombre suffisant d'activités simples et répétitives compatibles avec les limitations physiques et intellectuelles, de sorte que les chances de la requérante de se réinsérer dans la vie professionnelle ne sont pas irréalistes.
5.2.2 On ne saurait suivre l'argumentation de la requérante lorsqu'elle soutient qu'elle ne peut travailler qu'en milieu protégé. En effet, la neuropsychologue R._ n'a à aucun moment fait état d'une telle restriction; au contraire, elle a conclu à une pleine capacité de travail dans une activité adaptée, avec toutefois une diminution de rendement de 30 %. Les avis internes des 29 avril et 13 mai 2011 de l'intimé, sur lesquels la requérante se fonde et qui retiennent qu'elle ne peut plus travailler qu'en milieu protégé, ne reposent sur aucun avis médical. En outre, l'intimé n'expose pas les raisons pour lesquelles il conviendrait de s'écarter des conclusions de la neuropsychologue R._, lesquelles ont été reprises par le docteur L._, médecin conseil auprès du SMR (cf. rapport du 27 avril 2011). Le fait que la requérante a presque toujours travaillé au sein de l'hôtel tenu par ses parents et qu'elle n'a jamais vraiment exercé d'activité professionnelle à 100 % ne suffit pas pour conclure qu'elle ne pouvait oeuvrer que dans un cadre protégé. En effet, il ressort du dossier que son travail dans le restaurant familial constituait un choix personnel (cf. projet de prononcé du 8 septembre 1989 et rapport intermédiaire du 15 août 2000 de la division administrative de l'office AI). On ne peut donc déduire de ce seul élément que la requérante était incapable de se réinsérer dans le marché de l'emploi après son accident. Par ailleurs, des facteurs, tels que l'âge et la longue absence du marché du travail, qui auraient pu être pris en compte lors de la procédure antérieure pour savoir s'il était encore exigible de l'assurée qu'elle changeât d'activité, ne sont en l'espèce pas déterminants. La requérante (née en 1952) se trouvait à l'époque loin de l'âge donnant droit à la rente de vieillesse (cf. arrêt 9C_651/2008 du 9 octobre 2009 consid. 6.2.2.2) et sa dernière activité dans l'économie remontait à 1998, ce qui ne constituait alors pas une longue période d'absence du marché du travail.
5.2.3 Concernant la diminution de la capacité de travail résiduelle de 30 % - ce pourcentage pouvant varier en fonction des tâches - retenue par l'experte en neuropsychologie, il y a lieu de relever que selon la pratique administrative prévalant à l'époque de la décision du 19 juin 2002, un quotient intellectuel de 80 n'était pas de nature à faire naître un doute quant à la capacité de travail encore exigible. En effet, selon la circulaire de l'OFAS sur l'invalidité et l'impotence dans l'assurance-invalidité dans sa teneur en vigueur du 1er janvier 2000 au 31 décembre 2003 (CIIAI; version 3), seul un quotient intellectuel inférieur à 75 (ou à la limite inférieure de la normale avec, en outre, une atteinte à la santé mentale ayant valeur d'invalidité, telle que des particularités essentielles du caractère) pouvait avoir des effets négatifs sur la capacité de gain (cf. ch. 1009 CIIAI). Au demeurant, on ajoutera que le taux d'invalidité recalculé en tenant compte d'une capacité de travail réduite de 70 % serait insuffisant pour ouvrir le droit à une rente d'invalidité ([41'730 - (37'524 x 70 %)] : 41'730 x 100 = 37 %).
5.2.4 Dans ces circonstances, force est de constater que les limitations neuropsychologiques et le quotient intellectuel à la limite de la moyenne inférieure de la requérante ne constituent pas une circonstance nouvelle susceptible de modifier l'état de fait à la base de l'arrêt entrepris et de conduire à un jugement différent.
6. La demande de révision doit par conséquent être rejetée.
7. Vu les circonstances, en application de l'art. 66 al. 1, 2ème phrase, LTF, il y a lieu de renoncer à percevoir des frais judiciaires, si bien que la demande d'assistance judiciaire se révèle sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. La demande de révision est rejetée.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 11 juillet 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen