Faits:
A. A.a A._ est médecin anesthésiste. Son dernier emploi en qualité de salariée était au service d'un établissement hospitalier du canton Y._, pour lequel elle a travaillé jusqu'au 10 février 2004. A ce titre, elle était obligatoirement assurée contre le risque d'accidents auprès de la Winterthur Assurances, devenue en 2007 AXA Winterthur.
A.b Le 17 février 2004, A._ a fait une chute à ski qui lui a occasionné une fracture communitive de la tête du tibia bi-condylienne gauche. La Winterthur Assurances est intervenue et a versé les prestations légales, l'accident étant survenu dans les 30 jours suivant celui où a pris fin le droit au demi-salaire au moins (art. 3 al. 2 LAA). Le processus de guérison de la fracture s'est révélé lent. Dans un rapport du 20 janvier 2006, le professeur J._, chirurgien traitant, a indiqué que l'assurée pouvait désormais charger complètement son genou sans boiterie et reprendre un travail à 100 %.
A.c Le 16 mars 2006, en descendant une pente à ski, A._ a ressenti d'intenses douleurs au genou gauche. Elle s'est rendue à l'Hôpital cantonal Y._ où les médecins ont constaté une fracture transverse de la rotule gauche. Mandaté par la Winterthur Assurances pour une expertise, le docteur G._, chirurgien et spécialiste en médecine du sport, a conclu qu'il ne s'agissait pas d'un nouvel accident mais d'une suite de l'accident de ski de 2004 qui avait eu pour effet de fragiliser les structures osseuses (ostéoporose d'inactivité). Se fondant sur cet avis, l'assureur-accident a pris en charge le cas à titre de rechute.
A.d Par lettre du 27 mai 2007, A._ a informé AXA Winterthur qu'en se promenant dans le hall du Centre commercial de X._ le 25 mai précédent, elle avait fait une chute - provoquant une fracture de son fémur - sans pouvoir s'expliquer pourquoi elle était tombée, car elle n'avait rencontré aucun obstacle, le sol était sec, et aucun tiers n'était impliqué. La prénommée a également précisé qu'elle n'avait pas repris d'activité lucrative et qu'elle était actuellement assurée auprès de la caisse-maladie des médecins suisses.
A._ a été traitée par le professeur J._. Dans une note du 17 septembre 2007, ce médecin a fait les remarques suivantes au sujet de la responsabilité respective des deux assureurs concernés: "La fracture du fémur s'est produite lorsque la patiente était dans un centre commercial en marchant avec des souliers de sport. Elle a glissé et elle est tombée en hyperflexion et pense puisque avant elle n'était pas capable de fléchir au-delà de 100°, le fémur s'est cassé. Il faut ajouter qu'elle a encore de l'ostéoporose et l'inactivité due au deuxième accident, ce qui était bien visible par le fait qu'il s'agissait d'une fracture de torsion qui est typiquement l'expression d'une ostéoporose. On peut donc penser que le dernier accident est la suite des accidents précédents, c'est-à-dire du plateau tibial et de la rotule. Clairement la rotule était la conséquence du premier accident. Les assureurs devraient se partager les frais".
Par décision du 7 février 2008, AXA Winterthur a refusé de prester. L'intéressée a formé opposition contre cette décision en produisant un certificat médical du 19 février 2008 du docteur O._, selon lequel la lésion osseuse résultant de l'événement du 25 mai 2007 était vraisemblablement "en relation partielle" avec une fragilité osseuse et une importante amyotrophie séquellaire consécutives aux accidents antérieurs. Après avoir requis l'avis de son médecin-conseil, le docteur U._ (appréciation médicale du 11 novembre 2008), AXA Winterthur a rejeté l'opposition dans une nouvelle décision du 30 janvier 2009.
B. Par jugement du 10 novembre 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours de A._ et réformé la décision sur opposition du 30 janvier 2009 en ce sens que AXA Winterthur doit prendre en charge la totalité des suites de l'accident survenu le 25 mai 2007.
C. AXA Winterthur interjette un recours en matière de droit public contre ce jugement, dont elle requiert l'annulation. Elle demande au Tribunal fédéral de confirmer partiellement sa décision sur opposition et de lui renvoyer la cause pour instruction complémentaire en vue de déterminer à partir de quand et dans quelle mesure elle doit verser des prestations d'assurance pour la part du dommage attribuable à l'événement du 17 février 2004, voire de renvoyer la cause au tribunal cantonal afin que celui-ci ordonne la mise en oeuvre d'investigations complémentaires dans ce sens.
A._ conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2. Lorsque sont en jeu - comme ici - des prestations en espèces (indemnités journalières) et en nature (traitement médical) de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies par les art. 97 al. 1 et 105 al. 2 LTF (SVR 2011 UV n° 1 p. 1, 8C_584/2009 consid. 4).
3. Selon l'art. 6 al. 1 LAA, les prestations d'assurance sont allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle. La responsabilité de l'assureur-accidents s'étend, en principe, à toutes les conséquences dommageables qui se trouvent dans un rapport de causalité naturelle et adéquate avec l'événement assuré. Les prestations d'assurance sont également allouées en cas de rechutes et de séquelles tardives (art. 11 OLAA).
4. De la description de l'événement du 25 mai 2007 donnée par A._, ainsi que des considérations médicales des professeurs J._ et O._ dans leurs écrits respectifs des 17 septembre 2007 et 19 février 2008, les premiers juges ont déduit qu'il existait une chaîne de causalité entre les accidents des 17 février 2004 et 16 mars 2006 et la chute survenue le 25 mai 2007. Ils ont retenu que A._ avait chuté en raison de l'état séquellaire de son membre inférieur gauche résultant des interventions chirurgicales qu'elle avait subies à la suite des deux premiers accidents assurés. Aucune autre cause que les affections préexistantes de la prénommée ne permettait d'expliquer la survenue d'une chute sur un sol en marbre lisse en l'absence de tout facteur extérieur. Il incombait dès lors entièrement à AXA Winterthur de prendre en charge les conséquences découlant de l'événement du 25 mai 2007.
5. La recourante conteste ce point de vue et estime que l'événement en cause doit être considéré comme un nouvel accident qui aurait fait naître une obligation de prester de la part d'un assureur-accidents si une telle couverture avait existé à l'époque de sa survenance. Selon elle, les circonstances se distinguent de celles ayant prévalu le 16 mars 2006 où la fracture de la rotule gauche avait été prise en charge à titre de rechute de l'accident du 17 février 2004. La recourante est toutefois d'accord de reconnaître une responsabilité partielle en ce sens que les conséquences du nouvel accident du 25 mai 2007, associées aux séquelles de l'accident de 2004 (ostéoporose), ont causé ensemble un dommage plus important. Elle admet donc qu'il lui revient de prendre en charge une part du dommage, à savoir les séquelles restantes après la période de traitement aigu ayant suivi l'accident du 25 mai 2007.
6. En l'occurrence, il y a lieu de nier la responsabilité exclusive de la recourante pour les conséquences de la chute du 25 mai 2007. On ne saurait en effet suivre les premiers juges lorsqu'ils retiennent que cette chute est due aux séquelles des deux événements assurés par la Winterthur Assurances. Une telle conclusion ne peut se déduire ni des considérations des docteurs J._ et O._, ni du déroulement des faits décrits par A._. Même si le professeur J._ a écrit que "le dernier accident est la suite des accidents précédents", ses explications prises dans leur ensemble montrent bien qu'il ne considère pas l'ostéoporose comme étant la cause de la chute de l'intimée, mais plutôt comme un facteur ayant contribué à provoquer l'atteinte subie, ce qui se comprend également par le fait qu'il a parlé d'un partage des frais entre assureurs. Quant au docteur O._, il a exprimé ce même point de vue dans des termes encore plus clairs. Enfin, aucun élément dans la description de l'événement par l'intimée ne permet de penser qu'un phénomène particulier pouvant être objectivement rattaché à l'état séquellaire de son membre inférieur gauche se serait produit avant qu'elle ne tombe. Il s'ensuit que la chute du 25 mai 2007 constitue un nouvel accident.
Par ailleurs, à la lumière des avis concordants des docteurs J._ et O._ - que la recourante ne remet plus en question -, on doit également retenir que l'état antérieur post-traumatique présenté par A._ a joué un rôle causal partiel dans la fracture du fémur et ses suites en tant qu'il a aggravé les effets de la chute et l'ampleur du dommage subi (cause concurrente). Compte tenu de ce lien causal (naturel et adéquat), la responsabilité de AXA Winterthur ne cesse pas même si l'intéressée n'était plus obligatoirement assurée auprès d'elle au moment déterminant, ce que la recourante a reconnu à juste titre.
Dans cette mesure, on peut faire droit à ses conclusions et lui renvoyer la cause afin qu'elle détermine, le cas échéant au moyen d'une expertise, la part du dommage qu'elle est tenue d'assumer dans le sens de ce qui vient d'être dit, et rende une nouvelle décision sur le droit de l'intimée aux prestations.
7. Vu l'issue du litige, les frais judiciaires seront mis à la charge de l'intimée (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans le sens des considérants. Le jugement du 10 novembre 2011 de la Cour des assurances sociales du Tribunal cantonal vaudois ainsi que la décision sur opposition du 30 janvier 2009 de AXA Winterthur sont annulés.
2. La cause est renvoyée à AXA Winterthur pour qu'elle procède à une instruction complémentaire et rende une nouvelle décision sur le droit aux prestations de l'intimée.
3. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge de l'intimée.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal vaudois, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 19 février 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Ursprung
La Greffière: von Zwehl