Faits:
A. D._, née en 1980, a exercé en dernier lieu la profession d'agente de sécurité (de 2003 à septembre 2006). Incapable de travailler à partir du 8 février 2008 en raison d'une maladie de Kienböck du poignet gauche (stade III-IV), elle a déposé, le 15 juillet 2008, une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI).
Dans le cadre de l'instruction de la demande, l'office AI a recueilli des renseignements auprès du médecin traitant, la doctoresse J._, spécialiste FMH en chirurgie plastique, reconstructive et esthétique, ainsi qu'en chirurgie de la main, et demandé conseil à son Service médical régional (SMR). Dans un rapport du 4 mai 2009, la doctoresse J._ a fait état d'une probable maladie de Kienböck débutante du poignet droit et conclu à une incapacité de travail totale dans les activités demandant l'utilisation répétitive des deux poignets; en revanche, la capacité de travail était entière dans une activité adaptée. Dans un rapport subséquent du 4 décembre 2009, elle a confirmé le diagnostic de la maladie de Kienböck du poignet droit et le degré de capacité de travail retenu.
L'administration, dont le premier projet de décision (du 5 juin 2009) a été contesté par l'assurée, a rendu le 18 mars 2010 un second projet de décision refusant la demande de prestations de l'intéressée, motif pris que le taux d'invalidité de 14,5 % était insuffisant pour ouvrir le droit aux prestations requises. D._ s'est opposée à ce nouveau projet de décision en produisant deux rapports des 4 mars et 4 mai 2010 du docteur S._, spécialiste FMH en chirurgie plastique et reconstructive, ainsi qu'en chirurgie de la main, lequel retenait une capacité de travail maximale de 50 % dans une activité adaptée. Suivant l'avis de son médecin conseil (avis du 16 août 2010 du docteur C._), l'office AI a maintenu sa position par décision du 23 août 2010.
B. L'assurée a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en faisant verser à la procédure deux rapports (des 29 juin et 23 novembre 2010) de la doctoresse J._, dans lesquels cette dernière concluait désormais à une capacité de travail maximale de 50 % dans une activité adaptée. Par jugement du 12 mai 2011, le Tribunal cantonal vaudois a débouté l'intéressée.
C. D._ interjette un recours en matière de droit public contre ce jugement, dont elle demande principalement la réforme en ce sens qu'une rente entière d'invalidité lui soit accordée avec effet rétroactif. Subsidiairement, elle conclut à l'octroi d'une mesure de reclassement professionnel, voire à l'annulation du jugement entrepris et au renvoi de la cause à la juridiction cantonale.
L'office AI n'a formulé aucune observation particulière, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le droit de la recourante à une rente d'invalidité et à des mesures de reclassement professionnel. Le jugement attaqué expose correctement les règles légales et la jurisprudence applicables en l'espèce, si bien qu'il suffit d'y renvoyer.
3. Examinant l'ensemble des pièces médicales, la juridiction cantonale a constaté que les médecins s'étant prononcés s'accordaient pour retenir que la recourante présentait un status après résection de la première rangée du carpe et dénervation partielle du carpe pour une maladie de Kienböck de stade III à IV du poignet gauche, opéré le 11 avril 2008, une maladie de Kienböck de stade II du poignet droit, ainsi qu'un status après cure de De Quervain au poignet gauche du 30 octobre 2008 et au poignet droit du 27 septembre 2010. Faisant siennes les conclusions des 13 janvier, 4 mai et 4 décembre 2009 de la doctoresse J._, dans la mesure où elles étaient cohérentes avec les constatations médicales objectives, notamment avec les limitations fonctionnelles décrites par cette doctoresse (rapport du 4 mai 2009) et le docteur S._ (rapport du 4 mai 2010), l'autorité cantonale de recours a retenu que la recourante disposait à partir de février 2009 d'une capacité de travail entière dans une activité adaptée, à savoir sans effort, ni mouvement répétitif des deux poignets et sans exposition au froid. Elle s'est en revanche écartée de l'appréciation subséquente de cette médecin (rapports des 29 juin et 23 novembre 2010) et du docteur S._ (rapport du 4 mai 2010), selon laquelle la capacité de travail de la recourante serait limitée à 50 %. Selon les constatations des premiers juges, en tant qu'elle concluait à une capacité de travail exigible de 100 % dans une activité adaptée, la décision de l'office AI n'était pas critiquable et le taux d'invalidité de 14,5 % devait être confirmé, lequel n'ouvrait pas le droit à une rente d'invalidité, ni à des mesures d'ordre professionnel.
4. 4.1 Invoquant une appréciation arbitraire des preuves et une constatation incomplète des faits, la recourante reproche à la juridiction cantonale de ne pas avoir suivi l'appréciation du docteur S._ et de la doctoresse J._ (postérieure au 4 décembre 2009). Selon elle, sa situation ne se serait non seulement pas améliorée comme espérée, mais se serait au contraire détériorée à partir de mars 2010, justifiant une nouvelle appréciation de sa capacité de travail résiduelle.
4.2 L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité (ATF 120 Ia 31 consid. 4b p. 40, 118 Ia 28 consid. 1b p. 30) ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (ATF 129 I 8 consid. 2.1 p. 9, 127 I 38 consid. 2a p. 41).
4.3 Rappelant l'évolution négative de son état de santé dans le courant de l'année 2009, la recourante soutient que la juridiction cantonale ne pouvait se fonder sur les rapports des 13 janvier, 4 mai et 4 décembre 2009, de la doctoresse J._ et retenir, sans tomber dans l'arbitraire, qu'elle avait une pleine capacité de travail dans une activité adaptée à partir du mois de février 2009.
On constate en premier lieu que les rapports des 4 mai et 4 décembre 2009 de la doctoresse J._ tiennent compte de l'apparition de la maladie de Kienböck du poignet droit, dont le diagnostic a été confirmé par l'IRM du 6 avril 2009. Malgré l'atteinte au poignet droit, cette médecin a maintenu ses conclusions attestant une pleine capacité de travail dans une activité adaptée, en étendant simplement les limitations fonctionnelles aux deux poignets. S'il est vrai que la doctoresse J._ a reconnu craindre une aggravation du status clinique et radiologique (rapport du 4 décembre 2009), il s'est avéré que la cure chirurgicale du 27 septembre 2010, dont l'évolution a été favorable, n'a entraîné qu'une incapacité de travail passagère de cinq semaines; elle n'a par ailleurs fait état d'aucune aggravation notable des atteintes dans ses rapports subséquents, ni redéfini les limitations fonctionnelles précédemment décrites. Dans son rapport du 29 juin 2010, elle mentionne effectivement une réexacerbation de la symptomatologie douloureuse, mais l'incapacité de travail totale du 23 mars 2010, qui en est découlée, n'a été que de courte durée, puisque la capacité de travail était à nouveau de 50 % à compter du 25 juin 2010, la doctoresse J._ ayant déclaré se rallier aux conclusions du docteur S._. Cela étant, le choix de la juridiction cantonale de s'écarter de la nouvelle appréciation du médecin traitant, au motif qu'elle n'était justifiée par aucune modification médicale objective, résultant davantage du fait qu'un autre chirurgien spécialiste de la main partage son diagnostic, n'apparaît ni arbitraire, ni contraire au droit.
4.4 Les premiers juges ont également exposé les raisons pour lesquelles ils ne pouvaient suivre l'avis du docteur S._. L'appréciation de ce médecin entrait en contradiction avec les constatations médicales objectives, notamment avec le fait que la recourante présentait une bonne mobilité du poignet droit, avec une force qui était convenable pour les activités de la vie quotidienne, et qui devait l'être également pour une activité professionnelle. En outre, pour retenir une capacité de travail réduite, le docteur S._ s'était fondé sur les résultats des questionnaires d'auto-évaluation remplis par la recourante, alors qu'il avait pourtant reconnu que les limitations subjectives révélées par ces tests étaient hautement élevées et qu'il manquait des éléments cliniquement objectivables pour les expliquer. La motivation de l'autorité cantonale de recours n'apparaît pas arbitraire, insoutenable, ou contraire au droit, et la recourante, par ses arguments, ne parvient pas à démontrer le contraire. Le docteur S._ s'est certes distancé des résultats de l'auto-évaluation, pondérant ces derniers, mais cela ne change rien au fait que ses conclusions quant à la capacité de travail sont essentiellement motivées par les résultats de ces tests, qui, comme l'ont à juste titre relevé les premiers juges, doivent être appréciés avec une grande réserve dans le cadre d'un conflit assécurologique surtout si elles s'écartent des autres éléments médicaux objectifs. A la suite des premiers juges, on constate que ce médecin n'a en effet mis en évidence aucune nouvelle limitation fonctionnelle permettant de justifier une capacité de travail limitée, faisant état au contraire d'une bonne mobilité du poignet droit, ainsi que d'une force convenable; le diagnostic et les limitations fonctionnelles qu'il retient sont similaires à ceux décrits par la doctoresse J._ dans ses rapports des 4 mai et 4 décembre 2009 (cf. avis du 16 août 2010 du docteur C._). Son avis sur la capacité de travail de la recourante ne constitue dès lors qu'une appréciation différente d'une situation médicale demeurée globalement inchangée depuis le 4 décembre 2009.
Dans ce contexte, le fait que l'assureur perte de gain en cas de maladie, Swica Organisation de santé, a décidé de reprendre le versement de ses prestations à la suite du diagnostic de la maladie de Kienböck du poignet droit, n'a pas l'incidence que veut lui prêter la recourante, laquelle n'a au demeurant produit aucun avis du médecin conseil de cet assureur susceptible d'être pris en considération dans la présente procédure (cf. arrêt 9C_250/2009 du 29 septembre 2009 consid. 3.5). On peut par ailleurs douter de l'existence d'un tel avis, dont il n'est fait aucune mention dans le courrier du 15 juin 2010 de Swica Organisation de santé à son assurée.
4.5 La recourante critique également les activités proposées par l'office AI, qui impliqueraient selon elle des mouvements répétitifs des poignets, comme pour répondre au téléphone ou taper à l'ordinateur.
En tenant compte des limitations fonctionnelles de l'assurée, de sa formation à l'Ecole professionnelle commerciale (sans CFC), de son expérience professionnelle d'employée de commerce et de téléphoniste, ainsi que de son expérience dans le domaine de la sécurité, le service de la réadaptation professionnelle a suggéré les activités de réceptionniste dans différents domaines professionnels, téléphoniste (télémarketing), secrétaire/téléphoniste dans le domaine de la sécurité (Securitas, Protectas...), agente de sécurité sans besoin d'intervention physique (surveillance de site, contrôle technique en usine), vendeuse (excepté dans une grande surface en raison de travaux répétitifs et de la mise en place). Le fait que la recourante conteste les activités de secrétaire, réceptionniste et téléphoniste, n'est en soi pas déterminant, puisque le champ des activités ne sollicitant pas un usage répétitif des poignets, et n'exigeant aucune formation spécifique, est suffisamment large pour considérer qu'il existe, compte tenu des limitations fonctionnelles de l'intéressée, une possibilité d'emploi réaliste; à cet égard, la liste dressée par l'administration ne contient que des exemples de profession et n'est pas exhaustive. On ajoutera qu'il n'apparaît toutefois pas de prime abord que les activités de réceptionniste, téléphoniste et de secrétaire/téléphoniste soient incompatibles avec la maladie de la recourante, dès lors qu'elles ne nécessitent pas la force des poignets, qu'il ne s'agit pas de postes de dactylographie et que les appels téléphoniques se font au moyen d'un casque. Il ressort par ailleurs du rapport du 18 novembre 2009 de la division de la réadaptation professionnelle que l'assurée a refusé la mesure de réorientation professionnelle auprès de la Fondation intégration pour tous (IPT), qui aurait permis d'élargir les cibles professionnelles, en les évaluant par le biais de stages.
4.6 Pour le surplus, les revenus avec et sans invalidité et le calcul du taux d'invalidité n'étant pas contestés, ni contestables, le taux d'invalidité de 14,5 % doit être confirmé, celui-ci n'ouvrant pas le droit aux prestations requises (art. 28 al. 2 LAI).
5. Par conséquent, le recours se révèle mal fondé et doit être rejeté.
6. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de la recourante, qui succombe (art. 66 al. 1 LTF). Elle ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 avril 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen