Faits: A. A.a Souffrant notamment de gonalgies droites chroniques persistantes limitant à 50 % sa capacité de travail dans une activité adaptée, R._ a été mise au bénéfice d'une demi-rente d'invalidité (pour cas pénible), fondée sur un taux d'invalidité de 47 % dès le 1er mars 2005 (décision de l'Office de l'assurance-invalidité pour le canton de Vaud [ci-après: office AI] du 11 février 2005). Cette prestation a été remplacée à partir du 1er avril 2005 par un quart de rente, fondé sur le même degré d'invalidité (décision du 30 mars 2005 confirmée par décision sur opposition du 23 novembre 2006). Le 17 mai 2005, l'office AI a par ailleurs alloué à R._ un quart de rente d'invalidité du 1er août 2002 au 31 mars 2005. Saisi d'un recours de l'assurée contre la décision du 23 novembre 2006, le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales) l'a rejeté le 17 mars 2008. A.b A l'occasion d'une procédure de révision initiée en février 2008 au cours de laquelle l'assurée a invoqué une aggravation de son état de santé depuis 2007, l'office AI l'a soumise à un examen auprès du docteur H._, spécialiste FMH en neurologie. Dans son rapport du 9 juin 2009, le médecin a diagnostiqué une gonarthrose interne droite débutante sur status après méniscectomie arthroscopique itérative en 2001, compliquée d'une arthrofibrose ayant nécessité une libération arthroscopique en 2003, des troubles dissociatifs (de conversion) mixtes du membre inférieur droit, un état dépressif probable, ainsi que des cervicalgies et lombalgies chroniques dans le cadre de troubles statiques et dégénératifs, un syndrome somatoforme douloureux n'étant pas exclu. Selon lui, d'un point de vue somatique, en particulier neurologique, la situation était inchangée (par rapport à celle prévalant en 2003 et 2006), la capacité de travail et les limitations fonctionnelles étant les mêmes qu'à l'époque; ces limitations avaient cependant subi une péjoration probable au plan psychique et mental, et devaient être réévaluées. Compte tenu de ces conclusions, l'office AI a confié une expertise psychiatrique de l'assurée au Centre d'observation médicale de l'assurance-invalidité de X._ (COMAI), où le docteur M._, spécialiste FMH en psychiatrie et psychothérapie, a diagnostiqué un trouble somatoforme (F45) et un épisode dépressif léger avec syndrome somatique (F32.01), qui n'entraînaient aucune diminution de la capacité de travail de l'assurée (rapport du 8 janvier 2010). L'administration a également recueilli l'avis de son Service médical régional AI (SMR), ensuite de quoi l'assurée lui a fait parvenir un protocole opératoire du docteur F._, spécialiste FMH en neurochirurgie (du 5 mars 2010), et un rapport de son médecin traitant, le docteur T._, spécialiste FMH en neurologie (du 18 mai 2010). Le 25 mai 2010, l'office AI a rendu une décision par laquelle il a maintenu le droit à un quart de rente fondé sur un degré d'invalidité de 47 %, en niant l'existence d'une aggravation de l'état de santé de l'intéressée. B. Statuant le 24 février 2012 sur le recours formé par R._ contre cette décision, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté. C. R._ interjette un recours en matière de droit public contre ce jugement, dont elle demande, sous suite de dépens, principalement la réforme en ce sens que lui soit reconnu le droit à une rente de l'assurance-invalidité fondée sur un taux d'invalidité "qui n'est pas inférieur à 70 %, depuis le 1er février 2008 au plus tard". A titre subsidiaire, elle conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale, subsidiairement à l'office AI, pour complément d'instruction et nouvelle décision dans le sens des considérants. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.