Faits:
A. Par une déclaration d'accident du 13 novembre 2000, l'entreprise X._, employeur de M._, née en 1954, a informé la Compagnie d'assurances Z._ que le 4 novembre précédent, celle-ci avait heurté son pied gauche contre un chariot de fleurs. Le 29 août 2001, la prénommée a subi une opération à la cheville droite pour une déchirure du court péroné latéral avec ténosynovite associée. Depuis lors, elle s'est trouvée en incapacité de travail totale. Une seconde intervention a été pratiquée le 30 janvier 2002 pour exciser un névrome pré-malléolaire. En mars 2002, après avoir pris connaissance des pièces médicales, la Compagnie d'assurances Z._ a transmis le dossier à la Caisse nationale suisse en cas d'accidents (CNA), en lui indiquant que les interventions subies ne la concernaient pas car il s'agissait des suites d'un accident survenu à la "cheville droite en 1999", soit à un moment où l'intéressée était au chômage. A la requête de la CNA, M._ a expliqué que dans le courant du mois d'octobre 1998, alors qu'elle travaillait à l'atelier P._ à B._ dans le cadre d'un programme d'occupation temporaire, elle avait fait une chute et s'était cognée le pied droit contre une table. Comme sa cheville avait enflé, elle avait consulté son médecin traitant, le docteur C._, qui lui avait prescrit des pommades mais ses douleurs n'avait jamais complètement disparu. En 1999, elle avait subi plusieurs infiltrations, puis s'était adressée à un orthopédiste qui avait posé l'indication d'une opération. Interpellé par la CNA, le docteur C._ a déclaré que d'après ses notes internes, une consultation avait eu lieu le 2 septembre 1998 pour un problème à la cheville.
Par décision du 26 juillet 2002, confirmée sur opposition le 18 septembre 2002, la CNA a refusé d'allouer des prestations pour les troubles à la cheville droite, au motif que ceux-ci n'avaient pas de relation probable avec l'événement annoncé du mois d'octobre 1998, ni avec aucun autre événement assuré, et qu'ils ne constituaient pas non plus une lésion assimilée à un accident.
B. B.a Saisi d'un recours de M._, le Tribunal des assurances du canton de Vaud a ordonné une expertise, qu'il a confiée aux docteurs L._, R._ et O._, du service d'orthopédie de l'Hôpital Y._. Au vu de leur rapport d'expertise (du 26 mars 2004) et de ses compléments (des 29 juillet et 22 décembre 2004), la CNA s'est déclarée d'accord de prendre en charge les suites de l'événement de 1998. Le tribunal a rayé la cause du rôle et condamné l'assureur-accidents aux dépens (jugement du 8 février 2005).
B.b La CNA a versé des indemnités journalières fondées sur une incapacité de travail totale, et poursuivi l'instruction du cas. Selon un rapport d'examen final (du 23 août 2005) du docteur T._, médecin d'arrondissement de la CNA, les constatations cliniques objectives permettaient de retenir une capacité de travail entière dans une activité légère et assise, et laissaient supposer une surcharge psychogène importante. Sur cette base, l'assureur-accidents a rendu le 4 octobre 2005 deux décisions, par lesquelles il a respectivement mis fin à ses versements au 14 octobre suivant et alloué une indemnité pour atteinte à l'intégrité d'un taux de 5%. A la suite de l'opposition de l'assurée, la CNA a annulé la décision mettant un terme aux prestations. Dans une nouvelle décision du 21 mars 2007, elle a octroyé à M._ une rente fondée sur un degré d'invalidité de 15% dès le 1er octobre 2005. La prénommée a derechef formé opposition contre cette décision et produit un rapport (du 5 avril 2007) de son médecin traitant, le docteur C._. Le 27 juin 2007, après avoir demandé un nouvel examen de l'intéressée par le docteur T._ (rapport du 20 juin 2007), la CNA a écarté l'opposition.
B.c Par jugement du 30 avril 2008, le Tribunal des assurances du canton de Vaud a rejeté le recours de l'assurée contre la décision sur opposition de la CNA du 27 juin 2007.
C. M._ interjette un recours en matière de droit public contre ce jugement dont elle demande l'annulation, en concluant, principalement, au renvoi de la cause à l'autorité cantonale pour nouvelle décision et, subsidiairement, à l'allocation d'une rente entière d'invalidité.
La CNA conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le droit de la recourante à une rente d'invalidité, singulièrement sur le taux d'invalidité qu'elle présente, à la suite d'un événement accidentel survenu probablement en septembre 1998 et au cours duquel elle a subi une entorse à la cheville droite en faisant une chute.
Dans la procédure de recours concernant l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction inférieure (art. 97 al. 2 LTF).
2. Le jugement entrepris expose de manière exacte et complète les dispositions légales régissant le droit aux prestations de l'assurance-accidents, ainsi que les principes jurisprudentiels concernant l'exigence d'un lien de causalité entre l'atteinte à la santé et un événement de caractère accidentel. Il suffit donc d'y renvoyer.
3. 3.1 En bref, la juridiction cantonale a fait siennes les considérations du docteur T._ sur les conséquences somatiques de l'entorse à la cheville droite subie par l'assurée, et considéré que le préjudice économique en résultant, fixé à 15% par l'assureur-accidents, n'était pas critiquable. En ce qui concernait d'éventuels troubles psychiques affectant l'assurée, elle a jugé qu'ils n'engageaient de toute façon pas la responsabilité de la CNA dans la mesure où l'événement accidentel assuré, devant être qualifié d'accident banal, n'était pas propre à entraîner des troubles de nature psychique.
3.2 La recourante reproche aux premiers juges d'avoir écarté sa demande d'une expertise médicale et tranché le litige sur la seule base de l'appréciation du médecin d'arrondissement de la CNA, alors que d'autres médecins avaient conclu à une incapacité de travail totale. Il ressortait ainsi du rapport de son médecin traitant qu'elle présentait des douleurs persistantes dans le cadre d'une tenosynovite de la cheville et du pied droits qui, depuis la seconde opération, s'étaient amplifiées et étendues de la cuisse à la nuque, et l'obligeaient désormais à marcher avec une canne. Il ne s'agissait nullement d'un rapport complaisant mais d'un compte-rendu de son état réel. A la suite de cette situation, elle avait en plus développé un état dépressif. Et quand bien même l'événement accidentel en tant que tel pouvait être considéré comme banal, il avait néanmoins eu des conséquences énormes pour elle, qui se trouvait en incapacité de travail depuis plus de dix ans, de sorte que c'était à tort que la causalité adéquate entre son état psychique et l'accident avait été niée. Ces éléments justifiaient sinon l'octroi de pleines prestations de l'assurance-accidents à tout le moins la mise en oeuvre d'une instruction complémentaire.
4. 4.1 En l'occurrence et quoi qu'en dise la recourante, on ne voit aucune contradiction entre les divers avis médicaux figurant au dossier en ce qui concerne les conséquences de l'accident assuré sur son état de santé. Il convient en effet de distinguer la part d'incapacité de travail à mettre sur le compte d'une atteinte physique de celle qui relève d'une atteinte psychique.
4.2 Au terme de ses deux examens cliniques, le docteur T._ a constaté que la cheville droite de l'assurée était calme et souple, qu'elle présentait une excellente trophicité, que les callosités plantaires étaient bien marquées et symétriques, et qu'il n'y avait aucune amyotrophie du mollet du côté droit. Il avait par ailleurs pu observer une amplitude articulaire complète et symétrique lorsque l'attention de M._ était détournée. Pour lui, cette situation objective ne concordait pas avec le comportement d'invalide adopté par la prénommée qui s'agitait avant même qu'on ne l'examine et déclarait ne pouvoir strictement rien faire. Cela l'amenait à conclure que les douleurs exprimées étaient liées à une forte composante psychique. Il retenait cependant une atteinte partielle du nerf sural, l'assurée décrivant une allodynie et une hypoesthésie bien systématisées au territoire de ce nerf. Cette seule séquelle de l'accident contre-indiquait la reprise de son ancienne activité d'aide-jardinière mais n'empêchait pas l'exercice à temps complet d'une activité légère, largement sédentaire et permettant l'alternance des positions. Cette appréciation se recoupe pour l'essentiel avec celle à laquelle ont abouti les experts de l'Hôpital Y._ puisque ces derniers ont fait état, à côté d'une séquelle sous la forme d'une irritation ou d'une lésion du nerf sural, d'un syndrome douloureux chronique du bord latéral du pied droit, en précisant que "physiologiquement", il subsistait certes une capacité de travail dans une activité sédentaire en position assise, mais qu'en raison de l'état psychologique actuel de l'intéressée et l'installation progressive d'un syndrome douloureux, celle-ci était faible même dans une activité adaptée (voir le rapport d'expertise du 26 mars 2004 et le consilium neurologique du docteur W._, daté du 25 juillet 2003 qui le complète). Le docteur H._ n'apporte rien de nouveau par rapport à ces constatations concordantes. Ce médecin ne fait que décrire la même situation douloureuse qui a fait l'objet d'une évaluation circonstanciée de la part des experts de l'Hôpital Y._ et du médecin d'arrondissement de la CNA et à laquelle il convient de s'en tenir. Il n'y a aucune raison de penser que d'autres mesures probatoires auraient permis d'aboutir à un résultat différent.
4.3 Il s'ensuit qu'aucun reproche ne peut être fait aux premiers juges d'avoir considéré que sur le plan somatique, l'assurée conservait une capacité de travail résiduelle entière dans activité adaptée. La diminution de son aptitude à travailler résulte bien plutôt de troubles psychiques sous la forme d'un syndrome douloureux chronique et d'un état dépressif.
5. 5.1 A supposer même que l'événement de 1998 soit le facteur déclenchant de ces troubles psychiques - comme le semble reconnaître les experts de l'Hôpital Y._ - c'est également en vain que la recourante fait grief aux premiers juges d'avoir méconnu la jurisprudence sur le caractère adéquat de troubles psychiques consécutifs à un accident.
5.2 En présence d'une affection psychique additionnelle à une atteinte à la santé physique, il faut d'abord classer l'événement accidentel parmi trois catégories d'accidents (peu de gravité; gravité moyenne; accidents graves). Cette classification s'opère en fonction du déroulement de l'accident lui-même et non pas, comme le voudrait la recourante, de la manière dont le choc traumatique est ressenti et assumé (ATF 115 V 133 consid. 6 p. 138). En l'espèce, il s'est indubitablement agi d'une chute banale. Or, selon la jurisprudence, en cas d'accident insignifiant ou de peu de gravité, l'existence d'un lien de causalité adéquate entre l'accident et des troubles psychiques peut, en règle générale, être d'emblée niée. Ce n'est qu'à titre exceptionnel qu'un accident de peu de gravité peut constituer la cause adéquate d'une incapacité de travail et de gain d'origine psychique. Il faut alors que les conséquences immédiates de l'accident soient susceptibles d'avoir entraîné les troubles psychiques et que les critères applicables en cas d'accident de gravité moyenne se cumulent ou revêtent une intensité particulière (RAMA 1998 no U 297 p. 243, U 16/97, consid. 3b, et 1992 no U 154 p. 246, U 101/91, consid. 2c).
5.3 Tel n'est pas le cas ici. Il n'existe aucune circonstance dramatique ou impressionnante concomitante à l'événement du 2 septembre 1998 (une chute banale occasionnant une entorse de la cheville). La lésion qui en est résulté (une déchirure du court péroné latéral) ne peut être qualifiée de grave et n'a entraîné une incapacité de travail que pratiquement trois ans plus tard. Depuis l'intervention chirurgicale du 21 août 2001, l'assurée n'a certes plus été en mesure de reprendre son activité d'aide-jardinière. Le caractère adéquat du lien de causalité doit cependant être examiné en excluant les aspects psychiques. Dans le dossier figure le compte-rendu d'un examen neurologique effectué en mai 2002 par le docteur U._, selon lequel M._ présentait déjà à cette époque un tableau clinique dont les résultats discordants amenaient ce médecin à préconiser, comme seule solution thérapeutique envisageable, sa prise en charge auprès d'une consultation spécialisée de la douleur (rapport du 15 mai 2002). Cet avis médical permet de dire que l'état douloureux de la prénommée a vraisemblablement été influencé très tôt par une composante psychique, en l'absence de substrat objectivable. C'est finalement uniquement en raison de la longueur de la procédure judiciaire qui a opposé l'assurée à la CNA que l'atteinte psychique a été tardivement mise à jour. On ne peut dès lors pas considérer que les critères de la persistance des douleurs et de la durée particulièrement longue de l'incapacité de travail sont réalisés. L'assurée ne peut donc prétendre de prestations de l'assurance-accidents découlant de ses troubles psychiques.
6. Quant au calcul de l'invalidité opéré par la CNA (voir le considérant 8 de la décision sur opposition) - que la recourante ne discute au demeurant pas -, il ne prête pas flanc à la critique. Pour la comparaison des revenus, l'assureur-accidents a, en effet, à juste titre tenu compte du fait que l'assurée réalisait un revenu sans invalidité nettement inférieur à la moyenne en raison de facteurs étrangers à l'invalidité et effectué une parallélisation des deux revenus à comparer conformément aux principes posés par la jurisprudence (ATF 134 V 122).
7. Le recours se révèle par conséquent mal fondé.
Vu l'issue du litige, la recourante supportera les frais de justice.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, arrêtés à 750 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 24 avril 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung von Zwehl