Faits:
A. A.a G._ travaillait depuis 1985 comme ouvrière dans une fabrique de cartonnages. Après avoir subi un premier accident en 1994, qui a entraîné des lésions à la main droite et différentes périodes d'incapacité de travail, elle a été victime d'un second accident affectant sa main gauche, le 3 juillet 2002, qui l'a empêchée de travailler jusqu'au 18 novembre 2002. Elle a repris son activité à mi-temps du 19 novembre 2002 jusqu'au début de l'année 2004. En arrêt complet de travail à partir du 4 mars 2004, elle n'a plus retravaillé depuis lors et les rapports de travail ont pris fin le 30 juin suivant.
Entre-temps, le 31 mars 2003, G._ a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a pris des renseignements économiques et médicaux avant de nier, par décision du 16 novembre 2005, le droit de l'assurée à une rente, au motif que le taux d'invalidité (de 19 %) était insuffisant pour ouvrir le droit à une telle prestation. Contestant cette décision, l'intéressée a produit des rapports médicaux des docteurs C._, spécialiste en médecine interne, oncologie et hématologie (du 13 mars 2006), P._, spécialiste en chirurgie plastique, reconstructive et esthétique et en chirurgie de la main (du 3 avril 2006), et M._, spécialiste en médecine interne et rhumatologie (du 12 avril 2006), qu'elle avait tous trois consultés à différentes reprises. Le 2 mai 2007, l'office AI a rejeté l'opposition de G._.
A.b Le jugement rendu le 8 avril 2008 par le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales) à la suite du recours de l'assurée a été annulé par le Tribunal fédéral, de même que la décision sur opposition; le Tribunal fédéral a renvoyé la cause à l'office AI pour instruction complémentaire au sens des considérants et nouvelle décision (arrêt 9C_434/2008 du 1er novembre 2008).
Mandaté par l'office AI pour une expertise, le docteur S._, spécialiste FMH en rhumatologie et médecine interne, a examiné l'assurée. Dans son rapport du 26 mars 2009, il a diagnostiqué une rhizarthrose bilatérale avec arthrose nodulaire des doigts (Heberden), une arthrose radio-carpienne bilatérale, des cervico-lombalgies chroniques aspécifiques (discopathie L5-S1 et discopathies C5-C6 et C6-C7, spondylose cervicale et lombaire modérée), des gonalgies bilatérales dans le cadre d'une gonarthrose débutante et des omalgies bilatérales dans le contexte d'une tendinopathie chronique du sus-épineux des deux côtés avec conflit antéro-supérieur bilatéral. Faisant état de limitations fonctionnelles présentées par l'assurée, il a conclu à une capacité de travail de 50 % dans le travail habituel depuis le mois d'octobre 2001, puis de 40 % en 2009, ainsi que de 70 % dans une activité adaptée. Après avoir requis l'avis de son Service médical régional (SMR), l'office AI a derechef rendu une décision, le 22 janvier 2010, par laquelle il a nié le droit de l'assurée à une rente d'invalidité.
B. G._ a recouru contre cette décision devant le Tribunal cantonal vaudois, en se référant notamment, en cours de procédure, à un avis du docteur E._, spécialiste FMH en médecine interne et médecin traitant, du 27 octobre 2010. Le Tribunal a entendu des témoins, puis posé des questions complémentaires au docteur S._, qui y a apporté une réponse par courrier du 26 août 2011. Statuant le 17 août 2012, le Tribunal a débouté l'assurée.
C. Agissant par la voie du recours en matière de droit public, G._ demande au Tribunal fédéral de réformer le jugement cantonal. Elle conclut principalement à ce que lui soit allouée une demi-rente d'invalidité du 1er mars 2002 au 30 avril 2004, puis une rente entière, voire, subsidiairement, une rente d'un degré et d'un montant que la justice dira, à partir du 1er mai 2004, assorties d'intérêts à 5 % l'an. Plus subsidiairement encore, elle conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale pour nouvelle instruction et nouvelle décision.
L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
Par ailleurs, le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération (cf. art. 97 al. 2 LTF).
2. Au regard des conclusions du recours (cf. art. 107 LTF), le litige porte sur le droit de la recourante à une demi-rente d'invalidité du 1er mars 2002 au 30 avril 2004, puis à une rente entière (voire d'une fraction de rente à définir) dès le 1er mai 2004, singulièrement sur le taux d'invalidité qu'elle présente. A cet égard, le jugement entrepris expose correctement les règles légales et la jurisprudence sur la notion d'invalidité et son évaluation, ainsi que les principes jurisprudentiels relatifs à la libre appréciation des preuves et à la valeur probante d'un rapport médical. Il suffit donc d'y renvoyer.
3. 3.1 Dans un premier moyen, tiré d'un déni de justice, la recourante reproche à la juridiction cantonale de ne pas s'être prononcée sur sa conclusion tendant à l'octroi d'une demi-rente d'invalidité pour la période du 1er mars 2002 au 30 avril 2004, statuant en définitive seulement sur "le second chef de conclusion" relatif à l'octroi d'une rente entière d'invalidité ("rente à 100 %").
3.2 Selon la jurisprudence, une autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (ATF 117 Ia 116 consid. 3a p. 117 s.; arrêt 9C_699/2011 du 21 mai 2012 consid. 5.2).
En l'occurrence, le grief de la recourante tombe à faux. Les premiers juges ont porté une appréciation sur les aspects du litige relatifs à la capacité de travail (résiduelle) de la recourante et le degré de capacité de gain qui en résultait pendant la période soumise à leur examen, circonscrite par la demande de rente d'une part et la décision administrative litigieuse d'autre part. Ils sont arrivés à la conclusion que la recourante disposait d'une capacité résiduelle de travail de 70 % dans une activité adaptée et que le taux d'invalidité déterminé en fonction de celle-ci était en tout état de cause inférieur à 40 %. En rejetant en conséquence le recours, ils ont statué sur les conclusions de l'assurée et en ont nié le bien-fondé (compte tenu des deux périodes invoquées par l'assurée), de sorte que l'on ne saurait leur reprocher d'avoir laissé sans réponse l'issue de ses prétentions.
4. La recourante conteste ensuite à divers égards l'appréciation des preuves de la juridiction cantonale, en en critiquant le caractère arbitraire.
4.1 En tant que la recourante se plaint tout d'abord du refus de la juridiction cantonale de mettre en oeuvre une expertise psychiatrique, son grief est mal fondé. Comme l'a considéré à juste titre l'autorité cantonale de recours, le renvoi de la cause à l'intimé "pour qu'il complète l'instruction sous la forme d'une expertise médicale, éventuellement dans le cadre d'un examen pluridisciplinaire", ordonné le 14 novembre 2008 par le Tribunal fédéral (consid. 3.4 en relation avec le ch. 1 du dispositif de l'arrêt 9C_434/2008 cité), n'impliquait pas de soumettre l'assurée à un examen psychiatrique. Il ressort des considérants de l'arrêt que seules des atteintes physiques étaient en cause (atteintes aux mains gauche et droite, troubles cervico-dorsaux et douleurs aux épaules). L'appréciation des seules affections des mains par un spécialiste en chirurgie (sur laquelle s'était fondée la juridiction cantonale) ne rendait toutefois pas compte des autres troubles somatiques dont était atteinte l'assurée, ce qui justifiait une nouvelle évaluation médicale globale de son état de santé (sur le plan physique).
Pour le reste, la juridiction cantonale a répondu de manière convaincante aux arguments de la recourante, repris en instance fédérale, en expliquant pourquoi le fait que l'un ou l'autre médecin qui a examiné la recourante a évoqué l'éventualité d'un problème psychique ne rend pas nécessaire une appréciation psychiatrique, en l'absence d'indice concret en ce sens. On ajoutera que l'avis du docteur E._ (du 27 octobre 2010) dont se prévaut l'assurée ne fait état d'aucun diagnostic sur le plan psychique (qui limiterait par ailleurs la capacité de travail), la présence d'une "surcharge psychologique" ou "psycho-sociale" n'étant pas suffisante pour justifier la mise en oeuvre d'une évaluation médicale spécialisée à la charge de l'assurance-invalidité. La juridiction cantonale n'avait dès lors pas à compléter l'instruction médicale sur ce point, l'état de fait y relatif n'étant pas incomplet, quoique tente de suggérer la recourante en citant un passage de l'ATF 137 V 210 (consid. 4.4.1.4 p. 264 et 4.4.1.5 p. 265), sans en tirer concrètement d'argument.
4.2 En ce qui concerne les critiques de la recourante à l'encontre de l'expertise du docteur S._, dont les conclusions ont été suivies par les premiers juges pour constater l'étendue de la capacité de travail de la recourante (40 % dans l'activité habituelle et 70 % dans une activité adaptée), elles ne sont pas convaincantes. Loin de se "repos[er] essentiellement sur l'incapacité de travail retenue par le Dr P._", comme le prétend à tort la recourante, l'expert mandaté par l'administration a procédé à sa propre évaluation de l'état de santé de la recourante, en tenant compte - conformément aux exigences posées par la jurisprudence en matière de valeur probante des rapports médicaux (ATF 125 V 351) - des avis médicaux déjà au dossier, ainsi que de l'ensemble des atteintes dont souffrait la recourante (cf. diagnostics, p. 11 de l'expertise du 26 mars 2009 et avis du 26 août 2011, p. 1). En répondant par ailleurs aux questions de la juridiction cantonale, le docteur S._ a précisé à juste titre qu'il ne se justifiait pas d'"additionner mathématiquement" les taux d'incapacité de travail découlant de l'atteinte au niveau de la main et de l'atteinte ostéo-articulaire dégénérative touchant les autres articulations. Il incombait au contraire à l'expert de donner une appréciation globale de l'état de santé de l'assurée, ce qu'il a fait de manière motivée et convaincante, quoi qu'en dise la recourante.
C'est dès lors en vain qu'elle qualifie d'"illogique et partant arbitraire" le fait que l'expert a pris en considération une diminution de la capacité de travail dans l'activité habituelle de 10 % de plus au moment de son expertise par rapport aux 50 % prévalant selon lui en 2005, en raison du "phénomène de vieillissement physiologique et d'une certaine péjoration de l'atteinte arthrosique au niveau des mains ainsi qu'au niveau des genoux", alors qu'il n'a pas retenu une telle diminution pour la capacité de travail résiduelle dans une activité adaptée. Comme l'explique l'expert dans son avis du 26 août 2011 (p. 3), une activité adaptée est par définition ajustée aux troubles dont est atteinte l'assurée et aux limitations qu'ils entraînent, de sorte qu'une majoration de l'incapacité de travail pour un travail qui n'implique pas les mêmes sollicitations physiques que le travail d'ouvrière en usine ne se justifie pas. Le docteur S._ a par ailleurs indiqué de manière concluante les raisons pour lesquelles il ne suivait pas entièrement l'avis des médecins traitants de l'assurée quant au degré d'incapacité de travail dans une activité adaptée.
En conséquence, le choix de la juridiction cantonale de suivre les conclusions de l'expert et non celles des docteurs C._ et M._ relève d'une appréciation des preuves qui n'a rien d'arbitraire. Il n'y a dès lors pas lieu de s'écarter de ses constatations, selon lesquelles la recourante disposait d'une capacité de travail de 40 % dans l'activité habituelle et 70 % dans une activité adaptée.
5. 5.1 Parmi les critiques que la recourante soulève ensuite en relation avec l'exigibilité d'une activité adaptée et la "réalité notoire du marché de l'emploi", une seule paraît déterminante en l'occurrence. La recourante soutient que son âge (60 ans au moment de la première décision de l'intimé en 2005) l'empêchait d'exploiter sa capacité résiduelle de travail sur le plan économique.
5.2 Comme l'ont rappelé les premiers juges, lorsqu'il s'agit d'examiner dans quelle mesure un assuré peut encore exploiter économiquement sa capacité de gain résiduelle sur le marché du travail entrant en considération pour lui (art. 16 LPGA), on ne saurait subordonner la concrétisation des possibilités de travail et des perspectives de gain à des exigences excessives. Il s'ensuit que pour évaluer l'invalidité, il n'y a pas lieu d'examiner la question de savoir si un invalide peut être placé eu égard aux conditions concrètes du marché du travail, mais uniquement de se demander s'il pourrait encore exploiter économiquement sa capacité résiduelle de travail lorsque les places de travail disponibles correspondent à l'offre de la main d'oeuvre (arrêt I 198/97 du 7 juillet 1998 consid. 3b et les références, in VSI 1998 p. 293).
S'il est vrai que des facteurs tels que l'âge, le manque de formation ou les difficultés linguistiques jouent un rôle non négligeable pour déterminer dans un cas concret les activités que l'on peut encore raisonnablement exiger d'un assuré, ils ne constituent pas, en règle générale, des circonstances supplémentaires qui, à part le caractère raisonnablement exigible d'une activité, sont susceptibles d'influencer l'étendue de l'invalidité, même s'ils rendent parfois difficile, voire impossible la recherche d'une place et, partant, l'utilisation de la capacité de travail résiduelle (arrêt I 377/98 du 28 juillet 1999 consid. 1 et les références, in VSI 1999 p. 246). Toutefois, lorsqu'il s'agit d'évaluer l'invalidité d'un assuré qui se trouve proche de l'âge donnant droit à la rente de vieillesse, il faut procéder à une analyse globale de la situation et se demander si, de manière réaliste, cet assuré est en mesure de retrouver un emploi sur un marché équilibré du travail. Cela revient à déterminer, dans le cas concret qui est soumis à l'administration ou au juge, si un employeur potentiel consentirait objectivement à engager l'assuré, compte tenu notamment des activités qui restent exigibles de sa part en raison d'affections physiques ou psychiques, de l'adaptation éventuelle de son poste de travail à son handicap, de son expérience professionnelle et de sa situation sociale, de ses capacités d'adaptation à un nouvel emploi, du salaire et des contributions patronales à la prévoyance professionnelle obligatoire, ainsi que de la durée prévisible des rapports de travail (cf. arrêt 9C_695/2010 du 15 mars 2011 consid. 5).
5.3 Après que le Tribunal fédéral a longtemps laissé ouverte la question de savoir à quel moment il convient de se placer pour apprécier les chances d'un assuré proche de l'âge de la retraite de mettre en valeur sa capacité résiduelle de travail sur le marché de l'emploi, il y a apporté une réponse dans un arrêt récent rendu le 25 octobre 2012 (ATF 138 V 457 consid. 3 p. 459). Il a statué que ce moment correspond à celui où l'on constate que l'exercice (partiel) d'une activité lucrative est exigible du point de vue médical, soit dès que les documents médicaux permettent d'établir de manière fiable les faits y relatifs.
En l'espèce, même si l'intimé avait déjà recueilli différentes pièces médicales au cours de l'instruction, c'est l'expertise du docteur S._ du 26 mars 2009 qui a permis de constater de manière fiable les faits déterminants quant à la capacité résiduelle de travail de l'assurée et l'exigibilité de l'exercice d'une activité (adaptée). C'est donc à la date du 26 mars 2009 qu'il convient d'examiner si on pouvait exiger de la recourante qu'elle mît en valeur sa capacité de travail résiduelle dans une activité adaptée. Tel n'est pas le cas, puisque la recourante, alors âgée de 63 ans et 10 mois, se trouvait à deux mois de l'âge ouvrant le droit à une rente de vieillesse de l'AVS (art. 21 al. 1 let. b LAVS), si bien qu'on ne pouvait attendre d'elle qu'elle reprît une activité adaptée.
5.4 En conséquence de ce qui précède, le degré d'invalidité doit être déterminé en fonction de la capacité de travail résiduelle dans l'activité exercée par la recourante avant la survenance de son atteinte à la santé. Cette capacité s'élevait à 50 % depuis le mois d'octobre 2001 (selon le docteur S._, "l'incapacité de travail est restée globalement inchangée depuis sa diminution survenue en octobre 2001"; expertise p. 14), puis à 40 % en 2009.
Il en résulte, dans un premier temps, un taux d'invalidité de 50 % au moment de la naissance du droit à la rente, ce qui ouvre le droit à une demi-rente d'invalidité (art. 28 al. 1 aLAI [dans sa version en vigueur jusqu'au 31 décembre 2007]). Compte tenu de l'arrêt de travail de 100 % du 30 octobre 2001 au 31 août 2002, puis de 50 % dès le 1er septembre 2002, attesté par la doctoresse M._ (rapport du 29 avril 2003), ainsi que de la date du dépôt de la demande de rente (le 31 mars 2003), le droit à la demi-rente a pris naissance le 30 octobre 2002 (art. 29 al. 1 let. b et 48 aLAI, dans leur teneur en vigueur jusqu'au 31 décembre 2007), la prestation devant être versée à partir du 1er octobre 2002 (art. 29 al. 2 aLAI).
Dans un second temps, au vu de la diminution de la capacité de travail à 40 % en 2009 (telle que constatée par le docteur S._), la recourante a droit à un trois quarts de rente du 1er avril 2009 (art. 28 al. 2 LAI en relation avec l'art. 88a al. 2 RAI) au 31 mai 2009 (date à partir de laquelle elle pouvait prétendre la rente de vieillesse de l'AVS; art. 30 LAI en relation avec l'art. 21 al. 2 LAVS).
5.5 Les prestations ainsi reconnues doivent être assorties d'intérêts moratoires, ainsi que le sollicite la recourante, à partir du 1er octobre 2004 (art. 26 al. 2 LPGA; cf. ATF 131 V 358). Le taux de l'intérêt moratoire est de 5 % par an (art. 7 al. 1 OPGA).
6. Il ressort de ce qui précède que la conclusion subsidiaire de la recourante se révèle partiellement bien fondé.
7. Vu l'issue de la procédure, l'intimé, qui succombe, doit supporter les frais de justice y afférents (art. 66 al. 1 LTF). Il prendra également à sa charge l'indemnité de dépens à laquelle a droit la recourante (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. La décision du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 17 août 2012 et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 22 janvier 2010 sont annulées. La recourante a droit à une demi-rente de l'assurance-invalidité du 1er octobre 2002 au 31 mars 2009 et à un trois quarts de rente du 1er avril 2009 au 31 mai 2009, avec intérêts à 5 % l'an dès le 1er octobre 2004.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4. La cause est renvoyée au Tribunal cantonal du canton de Vaud, Cour des assurances sociales pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 avril 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless