Faits:
A. A.a Le 15 mai 1995, l'Etat de Vaud a passé avec la Fondation pour l'accueil des requérants d'asile (ci-après : la FAREAS) une convention, reconduite le 20 avril 2000, réglant notamment le service de santé infirmier destiné aux requérants d'asile. En outre, il a conclu, le 19 septembre 1996, un contrat d'assurance-maladie « collective » avec la Caisse-maladie et accidents FAMA (devenue la Caisse-maladie SUPRA le 1er janvier 1998), qui comprenait, en tant que partie intégrante au contrat, un protocole d'organisation du 12 septembre 1996, passé entre le Service de prévoyance et d'aide sociale (ci-après : le SPAS), la FAREAS, la FAMA et Planinsurance SA. Ce contrat d'assurance-maladie « collective » prévoyait l'affiliation à la FAMA des requérants d'asile et des personnes admises provisoirement. La FAREAS avait notamment pour obligation d'adresser à l'assureur une liste des personnes relevant de sa compétence et d'annoncer la date du départ ou de l'autonomie d'un assuré. Le protocole d'organisation du 12 septembre 1996 disposait notamment que la FAMA résilierait le contrat d'assurance pour la fin du mois au cours duquel un requérant ne serait plus pris en charge par la FAREAS.
A la suite de la dénonciation, pour le 31 décembre 1997, du contrat passé avec la FAMA, la FAREAS a conclu avec CSS Assurance, le 22 janvier 1998, un nouveau contrat, entré en vigueur le 1er janvier précédent, qui avait pour objet l'assurance obligatoire des soins pour l'ensemble des requérants d'asile et des étrangers admis provisoirement, assistés par la FAREAS, à l'exclusion des mineurs non accompagnés relevant du Service de la protection de la jeunesse.
A.b S._, né en 1977, est arrivé en Suisse en 1991. Il a bénéficié du statut d'admis provisoire et relevait, à ce titre, de la FAREAS. Il a obtenu, le 21 décembre 1993, une autorisation provisoire collective valable jusqu'au mois d'avril 1996. Cette autorisation a été prolongée par le Conseil fédéral jusqu'au 30 avril 1997, date à laquelle l'intéressé aurait dû quitter la Suisse. En raison d'infractions commises en 1996, S._ a été incarcéré, à titre préventif, à partir du 5 février 1997, puis dès le 24 juillet suivant. Le 10 mars 1998, il a été condamné par le Tribunal correctionnel du district X._ à une peine privative de liberté qui a pris fin le 19 janvier 1999. Cette peine était assortie d'une expulsion du territoire suisse d'une durée de dix ans.
Victime d'une agression le 30 juillet 1998, durant l'exécution de sa peine, S._ a subi une longue hospitalisation en soins aigus dans le quartier carcéral de l'Hôpital cantonal Y._, suivie d'une réadaptation à l'Hôpital Z._ et d'un hébergement de type C à la Fondation W._, dès le 12 juillet 1999. Depuis le 5 mars 2001, S._ séjourne au Foyer V._. En raison de l'état de santé de l'intéressé, la mesure d'expulsion prononcée à son endroit n'a pas pu être exécutée.
Conformément au contrat liant l'Etat de Vaud à FAMA, S._ a été affilié à cette dernière pour l'assurance obligatoire des soins en cas de maladie. Bien qu'il ait perdu la qualité de requérant d'asile dès l'entrée en force de la décision de l'Office des requérants d'asile vaudois, fixant au 20 mai 1997 la date à laquelle son renvoi était techniquement possible, l'intéressé est toutefois resté assuré auprès de la FAMA jusqu'au 31 décembre 1997, par le biais du contrat « collectif ». En vertu de la convention liant la FAREAS à CSS Assurance, il a été considéré comme affilié à celle-ci à partir du 1er janvier 1998.
Informée par la FAREAS que S._ était détenu, CSS Assurance a radié l'intéressé du cercle des personnes soumises au contrat « collectif » avec effet au 31 mars 1998, sans toutefois maintenir l'affiliation au titre d'assuré individuel.
A la suite de l'agression dont S._ avait fait l'objet, le Service pénitentiaire a pris en charge les frais de traitement pour la période du 30 juillet 1998 au 5 septembre 2000, alors même que l'intéressé avait été libéré de sa peine le 19 janvier 1999.
Le 17 février 2000, CSS Assurance a informé le Service des assurances sociales et de l'hébergement (ci-après: le SASH) qu'elle attendait l'ordre formel de la FAREAS pour réintégrer S._ parmi ses assurés, avec effet au 1er avril 1998, ce qui impliquerait le paiement rétroactif des primes d'assurance depuis cette date.
Par décision du 6 septembre 2000, passée en force, l'Organe cantonal de contrôle de l'assurance-maladie et accidents du canton de Vaud (ci-après : l'OCC) a affilié d'office S._ à CSS Assurance, avec effet au 1er septembre 2000.
De son côté, CSS Assurance a rendu une décision, le 3 septembre 2001, par laquelle elle a constaté que S._ ne lui était pas affilié durant la période du 1er janvier 1998 au 31 août 2000. Saisie d'une opposition formée par l'Office du tuteur général du canton de Vaud (ci-après : l'OTG), CSS Assurance l'a rejetée par décision du 22 novembre 2001.
B. B.a Par ministère de l'OTG, S._ a recouru contre la décision sur opposition devant le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal, Cour des assurances sociales, du canton de Vaud) en concluant à ce qu'il soit considéré comme un assuré obligatoire au sens de la LAMal, notamment durant la période du 1er avril 1998 au 31 août 2000, et à ce que le tribunal dise quel est l'assureur-maladie tenu à l'affilier, « à qui il incomberait de prendre en charge l'ensemble des prestations de soins fournies entre le 1er avril 1998 et le 31 août 2000, sous condition de paiement des primes correspondantes ». Après avoir appelé en cause la SUPRA, le Tribunal cantonal des assurances du canton de Vaud a rendu, le 4 octobre 2004, un jugement, dont le dispositif est le suivant:
« I. Le recours est rejeté, en tant qu'il vise à ce que le recourant soit affilié à l'intimée pour la période allant du 1er janvier 1998 au 31 août 2000.
II. La décision attaquée est maintenue.
III. Le recourant doit être affilié à l'intimée (recte: la SUPRA), à titre individuel, pour la période allant du 1er juin 1997 au 31 août 2000, et il versera les cotisations correspondantes.
IV. SUPRA et l'intimée rembourseront à la FAREAS les primes versées par elle, pour le compte du recourant, respectivement du 1er juin au 31 décembre 1997 et du 1er janvier au 31 mars 1998 ».
B.b Statuant le 2 août 2006 sur le recours formé par la SUPRA, le Tribunal fédéral des assurances l'a admis en ce sens qu'il a annulé les ch. I à IV du jugement cantonal et renvoyé la cause à la juridiction cantonale pour nouveau jugement après complément d'instruction au sens des considérants.
B.c Conformément aux instructions de cet arrêt, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud a invité, d'une part, CSS Assurances à se déterminer sur la portée de sa décision sur opposition du 22 novembre 2001 et, d'autre part, S._ et la FAREAS, à exiger de la SUPRA qu'elle rendît une décision sur le droit éventuel à prestations. Le 13 mars 2008, CSS Assurances a indiqué que sa décision du 3 septembre 2001, confirmée par décision sur opposition du 22 novembre 2001, constituait une décision de refus de prise en charge des prestations pour la période courant du 1er janvier 1998 au 31 août 2000. De son côté, par décision du 13 juillet 2009, puis décision sur opposition du 9 novembre suivant, la SUPRA a refusé de prendre en charge les frais afférents à l'agression subie par S._ le 30 juillet 1998.
Saisie d'un recours formé par S._, représenté par l'OTG, contre cette décision, la Cour des assurances sociales du Tribunal cantonal vaudois a joint les causes opposant le prénommé à chacune des caisses-maladie et donné l'occasion aux parties de se déterminer. Par jugement du 17 janvier 2011, elle a rejeté le recours formé par S._ contre la décision sur opposition de la CSS Assurance du 22 novembre 2001. En revanche, elle a admis le recours du prénommé contre la décision sur opposition de SUPRA du 9 novembre 2009. Annulant cette décision, elle a renvoyé la cause à SUPRA « pour qu'elle prenne en charge, conformément aux dispositions de la LAMal, les coûts des prestations dispensées à S._ du 30 juillet 1998 au 31 août 2000 ».
C. La SUPRA interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, elle conclut principalement à la réforme du jugement cantonal, en ce sens que le recours interjeté contre sa décision du 9 novembre 2009 est rejeté et celle-ci confirmée, tandis que le recours contre la décision sur opposition rendue par CSS Assurance le 22 novembre 2001 est admis; elle demande également que S._ soit affilié, au titre de l'assurance obligatoire des soins, auprès de CSS Assurance pour la période du 1er janvier 1998 au 31 août 2000. A titre subsidiaire, elle demande le renvoi de la cause à la juridiction cantonale pour instruction « sur la question de la prise en charge des frais médicaux dispensés à Monsieur S._ du 30 juillet 1998 au 31 août 2000 par un assureur-accidents privé ou public ou, à défaut, par l'Etat de Vaud en tant que responsable de la rixe à l'origine de l'état de santé du prénommé ». Elle sollicite par ailleurs l'octroi de l'effet suspensif à son recours, ce qui lui a été accordé par ordonnance du 8 juillet 2011.
S._, agissant par l'OTG, ne s'est pas prononcé sur le recours, tandis que CSS Assurance conclut à son rejet. Quant à l'Office fédéral de la santé publique, il a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le dispositif (ch. IV) du jugement entrepris renvoie le dossier à la SUPRA pour qu'elle prenne en charge, conformément aux dispositions de la LAMal, les coûts des prestations dispensées à S._ du 30 juillet 1998 au 31 août 2000. Dès lors que la juridiction cantonale a statué de manière définitive sur l'obligation de prester de la recourante pour la période mentionnée - le renvoi ne visant qu'à déterminer le montant des prestations dues -, le jugement attaqué constitue non pas une décision incidente au sens de l'art. 93 LTF, mais finale au sens de l'art. 90 LTF. Dirigé contre un jugement final, le recours est recevable.
1.2 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Le litige porte sur le point de savoir si la juridiction cantonale était en droit de reconnaître l'obligation de la recourante de prendre en charge les coûts des prestations dispensées à S._ ensuite de l'événement survenu en milieu carcéral le 30 juillet 1998, pour la période courant depuis cette date au 31 août 2000.
3. 3.1 La recourante conteste son obligation de prester en faisant tout d'abord valoir que S._ n'était pas assuré pour les soins en cas de maladie auprès d'elle à partir du 1er janvier 1998. Elle soutient que la juridiction cantonale a violé les règles sur la représentation (art. 32 ss CO) et sur le libre choix de l'assureur (art. 4 LAMal) en admettant qu'elle avait assuré l'intéressé du 1er janvier 1998 au 31 août 2000. Puisque S._ avait été assuré auprès d'elle à partir du 1er janvier 1997 par l'intermédiaire de la FAREAS qui le représentait et que les pouvoirs de représentation n'avaient pas pris fin avec le changement de statut de l'intéressé (soit lorsque son autorisation provisoire de séjour était devenue caduque à la fin du mois d'avril 1997), la FAREAS avait valablement résilié au nom et pour le compte de S._ le contrat d'assurance « collective » au 31 décembre 1997. Le changement d'assureurs par l'intermédiaire de la FAREAS avait, par ailleurs, été effectué de manière globale par la remise d'une liste des assurés consultés parmi lesquels figurait le nom de S._, de sorte que la communication prévue à l'art. 7 al. 5 LAMal avait résulté d'actes concluants. L'intimé avait dès lors été valablement affilié dès le 1er janvier 1998 à CSS Assurance, qui, de manière contraire à l'art. 4 LAMal, avait mis fin à l'assurance de manière unilatérale à partir du 31 mars 1998.
3.2 Sur le vu des faits constatés par la juridiction cantonale, qui lient le Tribunal fédéral (consid. 1 supra), S._ était assuré en 1997 pour les soins en cas de maladie par la FAMA. En particulier, bien qu'il ait perdu la qualité de requérant d'asile dès l'entrée en force de la décision de l'Office des requérants d'asile vaudois, fixant au 20 mai 1997 la date à laquelle son renvoi était techniquement possible, l'intimé est toutefois resté assuré auprès de la FAMA au-delà du 31 mai 1997, date à laquelle la couverture d'assurance aurait dû être résiliée conformément au protocole d'organisation du 12 septembre 1996 passé entre le SPAS, la FAREAS, la FAMA et Planinsurance SA. La recourante ne conteste du reste pas que l'affiliation de l'intéressé auprès de la FAMA a été maintenue jusqu'au 31 décembre 1997.
3.3 Pour la période postérieure, comme l'ont retenu à juste titre les premiers juges, S._ est resté assuré auprès de la FAMA, devenue SUPRA à partir du 1er janvier 1998, en vertu des règles légales sur le changement d'assureur, singulièrement de l'art. 7 al. 5 première phrase LAMal, selon lequel l'affiliation auprès de l'ancien assureur ne prend fin que lorsque le nouvel assureur lui a communiqué qu'il assure l'intéressé sans interruption de la protection d'assurance. Selon la jurisprudence relative à cette disposition (ATF 130 V 448 consid. 4 p. 451 ss), en cas de changement d'assureur dans l'assurance obligatoire, une double assurance est exclue, de sorte que le rapport d'assurance auprès du nouvel assureur peut seulement débuter lorsque l'ancien prend fin. En cas de communication tardive, l'ancien rapport d'assurance s'éteint à la fin du mois au cours duquel l'information tardive est parvenue à l'assureur précédent (ATF 127 V 38).
Conformément à l'art. 7 al. 5 LAMal, l'affiliation de S._ auprès de la recourante ne pouvait prendre fin qu'au moment où le nouvel assureur lui aurait communiqué assurer l'intéressé sans interruption de la protection d'assurance. Compte tenu des constatations de la juridiction cantonale, une telle communication n'a pas eu lieu, de sorte que l'affiliation de S._ auprès de la FAMA/SUPRA n'a pas pris fin. C'est en vain que la recourante invoque à cet égard la résiliation du contrat « collectif » par la FAREAS au 31 décembre 1997 qui, en tant que représentante de l'intéressé, aurait ainsi valablement mis fin aux rapports d'assurance entre celui-ci et la FAMA. Si la résiliation des rapports d'assurance-maladie obligatoire par le biais d'une représentation au sens des art. 32 ss CO est en soi valable (ATF 132 V 166 consid. 8.5 p. 176 ss), elle doit s'inscrire dans le cadre des règles sur le changement d'assurance qu'elle ne rend pas inapplicables comme semble le soutenir la recourante. A l'instar des premiers juges, on rappellera que sous l'empire de la LAMal, les contrats d'assurance-maladie « collectifs » ne sont pas interdits en tant que tels, mais ne peuvent servir qu'à transmettre au preneur d'assurance des tâches administratives particulières afin de faciliter la gestion d'un nombre déterminé d'assurés individuels soumis aux règles et obligations de la LAMal (arrêt K 47/01 du 25 août 2003, in RAMA 2003 n° KV 259 p. 295). De tels arrangements administratifs, tel celui conclu en l'espèce entre la FAMA et la FAREAS, ne peuvent dès lors s'écarter des règles relatives au changement d'assureur prévues à l'art. 7 LAMal (arrêt K 136/01 du 15 juillet 2002, in RAMA 2002 n° KV 224 p. 369).
Par conséquent, que la FAREAS ait ou non été habilitée à représenter valablement S._ pour la résiliation du contrat d'assurance qui le liait à la recourante n'est pas déterminant, dès lors que la communication exigée par l'art. 7 al. 5 LAMal pour mettre un terme aux rapports d'assurance n'a pas été effectuée. Contrairement à ce que prétend encore la recourante, on ne saurait considérer que cette communication a valablement été effectuée par la remise d'une liste des noms des assurés concernés (dont S._) par la FAREAS à SUPRA et résultait donc d'actes concluants. La communication prévue par l'art. 7 al. 5 LAMal doit en effet se faire directement du nouvel assureur à l'ancien (ATF 130 V 448 consid. 5.4 p. 457). Elle n'a précisément pas été effectuée en l'espèce, sans qu'il soit nécessaire d'examiner, dans le cadre du présent litige, si la CSS Assurance était « responsable de l'absence de communication » comme le fait valoir la recourante.
3.4 L'argumentation de la recourante relative à une violation de l'art. 4 al. 1 LAMal n'est ensuite pas pertinente. Comme le changement d'assureurs au sens de l'art. 7 LAMal n'a pas eu lieu et que l'affiliation de S._ auprès de la SUPRA n'a pas pris fin pendant la période litigieuse, la recourante ne peut rien tirer en sa faveur, dans le cadre du présent litige, du fait que la CSS Assurance aurait d'abord accepté, puis mis fin aux rapports d'assurance à partir du 31 mars 1998, ni du reste, du sort des autres personnes concernées par le contrat d'assurance-maladie « collectif » qui ne sont pas intéressées à la présente procédure.
4. 4.1 Dans une série de griefs tirés de la violation du droit fédéral, de l'application arbitraire du droit cantonal, de la maxime inquisitoire et du droit d'être entendue, ainsi que d'une constatation manifestement inexacte des faits, la recourante fait ensuite valoir qu'elle ne peut être appelée à intervenir, en qualité d'assureur-maladie subsidiaire, pour les suites de l'accident du 30 juillet 1998. L'assureur-maladie ne doit prester qu'à titre subsidiaire, soit si aucune assurance-accidents n'est tenue d'assumer la prise en charge des coûts en cause. Dès lors que S._ n'avait entrepris aucune démarche sérieuse pour demander à la Winterthur Assurances (assureur privé auquel l'Etat de Vaud avait confié l'assurance-accidents des personnes détenues) la prise en charge des frais litigieux, la couverture subsidiaire de l'assureur-maladie ne pouvait intervenir. Par ailleurs, selon la recourante, c'est à tort et en application arbitraire de l'art. 7 de l'arrêté du Conseil d'Etat vaudois du 6 juin 1967 sur l'assurance accidents des détenus et internés que les premiers juges avaient conclu à l'absence de couverture accidents, en se fondant uniquement sur un courrier de la Winterthur Assurances par laquelle celle-ci niait son obligation de prester, alors qu'ils ne disposaient ni du contrat d'assurance privée, ni des conditions générales de celle-ci et n'avaient procédé à aucune mesure d'instruction à ce sujet.
4.2 Selon les constatations de la juridiction cantonale, l'Etat de Vaud a conclu une assurance-accidents collective avec la Winterthur Assurances pour les suites des accidents dont sont victimes les détenus ou les internés sans que la responsabilité de l'Etat soit engagée. Dans le contrat d'assurance, les parties avaient exclu valablement de la couverture d'assurance les frais de traitement qui étaient à la charge d'une assurance légale, selon l'art. B, al. 5 des conditions générales d'assurance applicables à ce contrat. Aussi, selon les premiers juges, aucune assurance-accidents n'assumait-elle la prise en charge des frais de traitement consécutifs à l'accident, de sorte qu'il incombait à l'assureur-maladie selon la LAMal, soit à la SUPRA, de prendre en charge ces frais conformément à l'art. 1 al. 2 let. b LAMal (dans sa teneur en vigueur jusqu'au 31 décembre 2002).
4.3 Au regard des pièces au dossier et de la réglementation de droit cantonal exposée dans le jugement entrepris, on peut, avec la recourante, douter de la conformité au droit des considérations de la juridiction cantonale sur la validité de la clause par laquelle l'Etat de Vaud et la Winterthur Assurances auraient exclu de la couverture d'assurance-accidents les frais en cause, ainsi que sur l'interprétation qu'elle en a faite dans le cas concret.
Faute de disposer des documents pertinents (contrat d'assurance collective conclu entre l'Etat de Vaud et la Winterthur Assurances, conditions générales mentionnées par celle-ci dans son courrier du 27 janvier 1999), on peut s'interroger sur les constatations de la juridiction cantonale quant à la teneur des clauses contractuelles convenues entre l'Etat de Vaud et l'assureur privé. Par ailleurs, à la lumière des dispositions de la loi vaudoise du 18 septembre 1973 sur l'exécution des condamnations pénales et de la détention préventive, ainsi que de l'arrêté du Conseil d'Etat vaudois cités dans le jugement entrepris, on ne voit pas que les conditions générales et spéciales de l'assurance conclue par l'Etat de Vaud, applicables « pour le surplus » (cf. art. 8 de l'arrêté), auraient pu déroger, par une clause d'exclusion telle qu'admise par la juridiction cantonale, à l'obligation d'assurance en matière d'accidents des personnes visées par les normes cantonales. De plus, l'interprétation donnée par la juridiction cantonale de la clause d'exclusion, selon laquelle « les frais de traitement qui sont à la charge d'une assurance légale ne sont pas pris en charge par la Winterthur Assurances » paraît discutable. Dès lors que l'événement à l'origine des frais de traitement litigieux relevait d'un accident - ce qui n'est pas contesté par les parties -, l'assurance-maladie sociale n'avait pas à intervenir en tant que « assurance légale », pour autant que l'intéressé fût couvert pour le risque accidents par un assureur-accidents social ou privé, ce qui était précisément le but de l'assurance conclue par l'Etat de Vaud avec la Winterthur. La situation visée par la clause d'exclusion ne semble pouvoir concerner, sauf à vouloir créer une situation de « subsidiarité réciproque » conduisant à l'absence de prise en charge par chacun des assureurs se prévalant de sa propre intervention subsidiaire, les cas où un assureur social intervient pour le même risque à titre principal et non pas subsidiaire.
Quoi qu'il en soit, le résultat auquel est parvenue la juridiction cantonale quant à l'obligation de la recourante de prendre en charge les coûts en cause est conforme au droit, comme il ressort des considérations qui suivent.
5. 5.1 Selon l'art. 1er al. 2 aLAMal, l'assurance-maladie sociale couvre non seulement la maladie (let. a), mais aussi l'accident (let. b) et la maternité (let. c). Les accidents ne sont toutefois couverts que dans la mesure où ils ne sont pas pris en charge par une assurance-accidents, qu'elle soit obligatoire ou privée. Dans ce domaine, l'assurance-maladie sociale remplit ainsi à la fois un rôle subsidiaire et complémentaire: subsidiaire quand elle a pour tâche de combler dans ce domaine des lacunes d'assurances en raison de sa fonction supplétive; complémentaire lorsqu'elle peut être amenée à prendre en charge des frais non couverts ou couverts partiellement par une assurance-accidents (ATF 126 V 319 consid. 4a p. 321 et les références).
En raison de sa fonction subsidiaire, l'assurance-maladie sociale doit fournir ses prestations non seulement dans le cas où l'assuré n'est pas au bénéfice d'une assurance-accidents au moment déterminant, mais également dans celui où il existe certes théoriquement une couverture d'assurance privée, mais que la prétention de l'assuré ne peut être exercée, par exemple parce que l'assureur est insolvable ou qu'un procès de l'assuré contre l'assureur privé n'est pas possible ou n'est pas raisonnablement exigible (GEBHARD EUGSTER, Krankenversicherung, in Soziale Sicherheit [SBVR], 2ème éd., n° 461 p. 553).
5.2 En l'espèce, même si l'on admettait que S._ était au bénéfice d'une assurance-accidents auprès de la Winterthur Assurances - ou auprès d'un autre assureur-accidents selon les hypothèses avancées par la recourante - au moment où il a été victime d'une agression durant l'exécution de sa peine, on ne pouvait raisonnablement exiger de sa part qu'il fît valoir sa prétention en justice, quoi qu'en dise la SUPRA. Dès lors que ses frais de traitement avaient été pris en charge par l'Etat de Vaud, soit le preneur d'assurances dans les rapports contractuels avec la Winterthur Assurances, sans que le remboursement ne lui en fût réclamé et vu les circonstances particulières dans lesquelles il se trouvait, S._ ne pouvait être tenu de contester le refus exprimé par la Winterthur dans son courrier du 27 janvier 1999.
5.3 En conséquence de ce qui précède, la recourante est obligée de prendre en charge les coûts des prestations litigieuses. On précisera qu'elle ne peut toutefois être tenue à verser des prestations en faveur de son assuré que si celui-ci a effectivement été appelé à rembourser les frais en cause au Service pénitentiaire vaudois, respectivement à l'Etat de Vaud, qui en avait assumé le paiement à l'époque. A défaut, l'assuré se trouverait enrichi sans cause légitime.
Partant, le recours se révèle mal fondé.
6. Vu l'issue du litige, les frais de justice sont mis à la charge de la recourante, qui succombe (art. 66 al. 1 LTF). L'intimé, qui ne s'est pas prononcé sur le sort du recours, ni n'est représenté par un avocat, n'a pas droit à des dépens. Il en va de même de l'intimée, même si elle obtient gain de cause (art. 66 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 30 novembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless