Faits:
A. M._, née en 1976, travaillait au service de la Fondation M._. A ce titre, elle était obligatoirement assurée contre le risque d'accidents auprès de la compagnie Helsana Assurances SA (ci-après: la Helsana).
Le 27 octobre 2010, l'employeur a informé la Helsana que le 26 août précédent, l'assurée avait fait un faux mouvement en voulant aider une résidente à se lever du lit pour l'assoir sur le fauteuil et qu'elle avait ressenti à cette occasion une vive douleur au bas du dos. Dans un rapport médical initial LAA du 15 novembre 2010, le docteur Y._ a posé le diagnostic d'un syndrome lombaire aigu et attesté une incapacité de travail entière depuis le 1er septembre 2010. Un CT-scan montrait une discopathie en L3-L4 et un aspect malformatif des arcs post-latéraux gauches en L2 et L3.
Invitée par l'assureur-accidents à répondre à un questionnaire, l'assurée a notamment indiqué que sa collègue n'avait pas porté la résidente en même temps qu'elle, si bien que tout le poids de cette dernière, environ 80 kg, s'était trouvé sur sa cuisse gauche au moment où elle avait effectué un mouvement de rotation pour l'installer dans le fauteuil. Lors d'un entretien avec un inspecteur de sinistres de la Helsana, M._ a confirmé cette version des faits, en précisant que la résidente était en position debout appuyée sur le lit avant son transfert dans le fauteuil (rapport du 30 novembre 2010).
Par décision du 15 décembre 2010, confirmée par décision sur opposition du 9 février 2011, la Helsana a refusé d'allouer des prestations au motif qu'il ne s'agissait ni d'un accident ni d'une lésion assimilée à un accident.
B. Saisie d'un recours de l'assurée, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté par jugement du 30 mai 2011.
C. M._ interjette un recours en matière de droit public ainsi qu'un recours constitutionnel subsidiaire. Elle conclut à la réforme du jugement cantonal en ce sens que la Helsana est tenue de prendre en charge toutes les suites de l'événement du 26 août 2010; subsidiairement, au renvoi de la cause à la juridiction cantonale pour instruction et/ou nouveau jugement au sens des considérants. Elle sollicite également l'assistance judiciaire.
La Helsana conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public remplit les conditions de recevabilité posées par les art. 82 à 85 LTF. Aussi, en raison de son caractère subsidiaire, le recours constitutionnel n'est-il pas recevable (<ref-law>).
2. Le litige porte sur le point de savoir si la recourante a droit à des prestations de l'assurance-accidents (prestations pour soins et indemnités journalières) pour les suites de l'événement du 26 août 2010. Singulièrement, il s'agit d'examiner si l'événement en cause constitue un accident.
Lorsque le jugement entrepris porte sur des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies par les art. 97 al. 1 et 105 al. 2 LTF (arrêts 8C_39/2010 du 7 septembre 2010 consid. 2 et 8C_584/2009 du 2 juillet 2010 consid. 4).
3. Le jugement attaqué expose de manière exacte et complète les dispositions légales et les principes jurisprudentiels concernant la notion d'accident (<ref-law>). Il suffit donc d'y renvoyer.
4. La juridiction cantonale a retenu la version des faits telle qu'elle ressort du rapport de l'inspecteur des sinistres. Selon elle, le mouvement effectué par l'assurée n'avait pas revêtu un caractère extraordinaire. D'une part, le soutien apporté par celle-ci ne pouvait pas être considéré comme inhabituel pour une aide-soignante qui réalisait ce geste jusqu'à 50 fois par jour, ni le poids de la résidente comme excessif. D'autre part, il n'apparaissait pas que le mouvement litigieux se soit déroulé de manière non programmée, en tant qu'un fait extérieur particulier serait venu interférer celui-ci. Partant, l'événement du 26 août 2010 ne répondait pas à la notion d'accident.
5. 5.1 Au vu du déroulement des faits et contrairement aux premiers juges, on ne saurait d'emblée nier la condition du facteur extérieur extraordinaire. Certes, il n'y a pas eu de "mouvement non programmé" - la recourante n'en a d'ailleurs jamais fait état. Toutefois, la jurisprudence admet l'existence d'un facteur extérieur exceptionnel lorsqu'en soulevant ou en poussant une charge, un assuré subit une lésion à cause d'un effort extraordinaire, c'est-à-dire manifestement excessif. Encore faut-il examiner de cas en cas si l'effort doit être considéré comme extraordinaire, en tenant compte de la constitution physique et des habitudes, professionnelles ou autres, de l'intéressé.
5.2 Le Tribunal fédéral a déjà eu l'occasion de juger des affaires similiares. Il a, par exemple, admis la survenance d'un accident dans le cas d'une infirmière qui avait empêché un patient corpulent de faire une chute inattendue lors de son transfert du lit au fauteuil roulant (cf. RAMA 1994 n° U 185 p. 79 consid. 2b [U 67/93]; voir également l'arrêt du 15 octobre 2004, U 9/04). Il a par contre nié l'existence d'un effort extraordinaire dans le cas d'un transfert d'un patient d'une table d'opération à un lit par un aide-infirmier, dès lors que celui-ci jouissait d'une bonne constitution et n'avait pas, à proprement parler, soulevé le malade au cours de cette manipulation (<ref-ruling>). Comme le montre l'abondante casuistique en relation avec les lésions dues à l'effort (voir JEAN-MAURICE FRÉSARD/MARGIT MOSER-SZELESS, L'assurance-accidents obligatoire in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2ème éd., p. 861 no 73), les circonstances particulières du cas d'espèce sont décisives pour apprécier le caractère extraordinaire ou non du facteur extérieur. Ainsi, la position adoptée par la personne qui a fourni l'effort peut jouer un rôle (voir RAMA 1994 U 180 p. 37, consid. 3c). Il en va de même de la différence de constitution et de poids entre deux personnes lorsque l'une retient l'autre pour l'empêcher de tomber (voir l'arrêt du 15 janvier 2003, U 421/01, consid. 3).
5.3 En l'occurrence, les informations contenues au dossier sont insuffisantes pour se prononcer en connaissance de cause. A première vue et nonobstant l'opinion soutenue par l'intimée, on constate une grande similitude entre le cas de la recourante et celui ayant donné lieu à l'arrêt précité U 9/04, dans lequel, lors du transfert d'une patiente du lit au fauteuil, une infirmière s'était retrouvée seule à devoir supporter une grande partie du poids de celle-ci ensuite de la défection de sa collègue. Vu l'importance des circonstances concrètes du cas, il aurait été judicieux d'interroger également la collègue de la recourante. L'absence totale ou seulement partielle du soutien de celle-ci lors du mouvement de rotation effectué par M._ pour installer la résidente dans le fauteuil, la constitution de l'assurée, respectivement la différence de poids entre elle et la patiente sont autant d'éléments déterminants qui manquent au dossier pour admettre ou nier le caractère extraordinaire de l'effort qu'elle a fourni. A ce stade, il n'est donc pas possible de statuer sur la question litigieuse.
5.4 La cause sera par conséquent renvoyée à la Helsana afin qu'elle complète l'instruction du cas dans le sens de ce qui vient d'être dit. Ceci fait, elle rendra une nouvelle décision sur le droit aux prestations de l'assurée. Dans cette mesure, le recours est bien fondé.
6. Vu l'issue du litige, la Helsana doit supporter les frais de justice et verser une indemnité de dépens à la recourante (art. 66 al. 1 et art. 68 al. 1 et 2 LTF). La demande d'assistance judiciaire de cette dernière devient par conséquent sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est admis en ce sens que le jugement du 30 mai 2011 de la Cour des assurances sociales du Tribunal cantonal vaudois et la décision sur opposition du 9 février 2011 de la Helsana sont annulés, la cause étant renvoyée à l'assureur-accidents pour instruction complémentaire conformément aux motifs et nouvelle décision.
3. Les frais de justice, arrêtés à 750 fr., sont mis à la charge de l'intimée.
4. L'assureur-accidents versera à la recourante la somme de 1'500 fr., y compris la taxe à la valeur ajoutée, à titre de dépens pour la procédure de dernière instance.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 3 septembre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl