Faits:
A. Le 24 mars 2010, A._ a déposé plainte pénale avec constitution de partie civile pour homicide par négligence, mise en danger de la vie d'autrui, exposition et omission de prêter secours, après le décès de son frère X._ survenu dans la nuit du 10 au 11 mars 2010 au quartier de sécurité renforcée (division d'attente) des Etablissements pénitentiaires de la Plaine de l'Orbe, où l'intéressé exécutait une mesure d'internement. Après avoir constaté que le détenu avait mis le feu à son matelas dans sa cellule et qu'une importante fumée s'en dégageait, le personnel de la prison avait éteint le feu au moyen d'une lance à incendie, puis avait attendu l'arrivée du Détachement d'action rapide et de dissuasion (DARD) pour sortir le détenu, près de deux heures après le début de l'incident. X._ était décédé, intoxiqué par la fumée.
B. Par ordonnance du 29 décembre 2010, le Juge d'instruction du canton de Vaud a prononcé un non-lieu en faveur des personnes mises en cause, soit C._ (piquet de service au moment des faits), B._ (directrice de piquet), F._ (piquet médical), G._ (médecin du SMUR), D._ et E._ (ambulanciers). X._ était le principal responsable de son décès, car il avait lui-même mis le feu à son matelas et se trouvait dans un état d'énervement particulier. Le fait de refermer la porte de la cellule après l'extinction du feu - et l'évacuation de la fumée dans le couloir - s'expliquait par la nécessité d'éviter un appel d'air qui aurait pu réactiver le feu. Même s'il n'avait pas fonctionné (en raison du déclenchement d'une pastille thermique), le système de ventilation était conforme aux normes de protection incendie. Le fait de ne pas avoir autorisé les ambulanciers puis le SMUR à entrer dans la cellule pour prodiguer les premiers soins, après avoir constaté que la cellule restait enfumée et que le détenu ne répondait pas aux appels, s'expliquait par la crainte que l'intéressé, qui avait proféré des menaces auparavant, ne simule une inconscience pour s'attaquer aux sauveteurs. Ceux-ci avaient attendu l'arrivée du DARD avant d'intervenir et n'avaient pas correctement informé les gardiens des risques de décès, mais il n'était pas certain qu'une intervention plus rapide eût permis de sauver l'intéressé. L'arrivée tardive de la directrice de piquet n'était pas non plus en rapport de causalité avec le décès. Une partie des frais de la procédure a été mise à la charge de B._ (1'000 fr.), C._ (1'000 fr.) D._ (500 fr.) E._ (500 fr.) et F._ (500 fr.), considérant que leur comportement avait donné lieu à l'enquête pénale.
C. Par arrêt du 21 mars 2011, le Tribunal d'accusation du Tribunal cantonal vaudois (statuant selon l'ancien droit de procédure pénale) a rejeté le recours formé par A._ contre l'ordonnance de non-lieu. Il était possible, selon les experts, que X._ ait été déjà mortellement intoxiqué avant même toute possibilité d'intervention. Les infractions d'exposition et d'omission de prêter secours ont également été écartées, faute de rapport de causalité, respectivement d'intention. La cour cantonale a par ailleurs confirmé le refus d'administrer des preuves supplémentaires requises par la plaignante; la question de la formation de C._ en matière de défense incendie n'était pas pertinente; de même, la teneur du debriefing du 13 mars 2010 ne permettrait pas de mieux reconstituer les évènements. La cour cantonale a par ailleurs admis les recours de D._, E._ et F._, qui n'avaient pas violé de règle de comportement particulière. En revanche, B._ et C._ ont vu leur condamnation aux frais confirmée. C._ avait en particulier tardé à proposer une intervention dans la cellule.
D. Par acte du 30 mai 2011, A._ forme un recours en matière pénale par lequel elle demande l'annulation de l'arrêt cantonal et le renvoi en jugement des personnes inculpées, ainsi que l'inculpation et le renvoi en jugement de trois autres personnes. Subsidiairement, elle demande le renvoi de la cause au Tribunal d'accusation pour nouvelle décision dans le sens des considérants.
Le Tribunal d'accusation se réfère à son arrêt. Le Ministère public conclut au rejet du recours. Les intimés, soit E._ et D._ (agissant conjointement), C._, B._, G._ et F._ concluent à l'irrecevabilité du recours, subsidiairement à son rejet. La recourante a répliqué.
Considérant en droit:
1. La décision attaquée a été rendue en matière pénale au sens de l'art. 78 LTF. S'agissant d'un non-lieu, elle a un caractère final (art. 90 LTF) et émane de l'autorité cantonale de dernière instance (art. 80 LTF). La recourante a agi en temps utile (art. 100 al. 1 LTF).
L'arrêt attaqué a été rendu, le 21 mars 2011, en application de l'ancien droit de procédure, conformément à l'art. 453 al. 1 CPP, la décision de non-lieu ayant été prononcée avant le 1er janvier 2011. En revanche, la qualité pour agir de la recourante doit s'examiner au regard de l'art. 81 LTF dans sa teneur en vigueur au 1er janvier 2011 (art. 132 al. 1 LTF; ATF 137 IV 219 consid. 2.1 p. 222).
2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO. Selon l'art. 42 al. 1 LTF, il incombe notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (cf. ATF 133 II 353 consid. 1 p. 356, 249 consid. 1.1 p. 251). Lorsque, comme en l'espèce, le recours est dirigé contre une décision de non-lieu, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (ATF 137 IV 246 consid. 1.3.1). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse le déduire directement et sans ambiguïté (ATF 137 IV 219 consid. 2.4 p. 222 et les arrêts cités).
2.1 La recourante relève qu'en tant que soeur et seul membre encore vivant de la famille du défunt, elle serait "légitimée à faire valoir des prétentions civiles à l'encontre de l'auteur de l'infraction". Elle devrait être assimilée à une victime au sens de la loi fédérale sur l'aide aux victimes d'infractions (LAVI; RS 312.5) et la décision de non-lieu aurait un effet sur ses prétentions en réparation du tort moral. La recourante méconnaît toutefois que la qualité de victime au sens de la LAVI ne suffit pas à elle seule pour lui conférer la légitimation; elle doit satisfaire, comme toute partie plaignante, aux conditions de l'art. 81 al. 1 let. a et b ch. 5 LTF (THOMMEN, in Basler Kommentar BGG, Bâle 2011, n° 31 ad art. 81).
2.2 L'enquête pénale est dirigée en premier lieu contre des employés de l'établissement de détention, soit en particulier la directrice de piquet au moment des faits, le piquet de service et le piquet médical. Le recours vise par ailleurs trois autres employés de la prison que la recourante voudrait voir inculper et renvoyer en jugement.
Selon l'art. 20 du règlement des Etablissements de la Plaine de l'Orbe (R-EPO, RS/VD 340.11.1) et l'art. 17 du Règlement de la Prison du Bois-Mermet (R-BM, RS/VD 340.11.2), le personnel des établissements pénitentiaires est soumis à la loi sur le statut général des fonctions publiques cantonales, remplacée dès le 1er janvier 2003 par la loi sur le personnel de l'Etat de Vaud (LPers-VD, RS/VD 172.31). Selon la loi sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD), qui s'applique notamment aux collaborateurs de l'Etat au sens de la LPers-VD, l'Etat et les communes répondent directement du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4). L'agent n'est pas personnellement tenu envers le lésé de réparer le dommage (art. 5). Le canton de Vaud ayant ainsi fait usage de la faculté réservée à l'art. 61 al. 1 CO, la recourante ne dispose que d'une prétention de droit public à faire valoir non pas contre les auteurs présumés, mais contre l'Etat. Selon la jurisprudence constante, de telles prétentions ne peuvent être invoquées dans le procès pénal par voie d'adhésion et ne constituent, dès lors pas des prétentions civiles au sens des dispositions précitées (ATF 133 IV 228 consid. 2.3.3 p. 234; 128 IV 188 consid. 2; arrêts 6B_364/2011 du 24 octobre 2011; 6B_869/2010 du 16 septembre 2011).
La plainte met également en cause deux ambulanciers ainsi que le médecin de l'équipe du Service mobile d'urgence et de réanimation (SMUR) des Etablissements hospitaliers du Nord Vaudois (EHNV), dont le statut n'est pas connu. Dans la mesure où il ne s'agirait pas d'un établissement public au sens de l'art. 3 al. 1 ch. 10 LRECA, ces personnes semblent être intervenues directement à la demande de l'établissement pénitentiaire, et étaient donc chargées à ce titre d'une tâche de droit public selon l'art. 3 al. 1 let. 13 LRECA. Cela exclut dès lors également la possibilité de faire valoir des prétentions civiles au sens de l'art. 81 al. 1 let. a et b ch. 5 LTF (cf. arrêt 6B_274/2009 du 16 février 2010).
2.3 La recourante n'est par ailleurs guère explicite à propos de l'indemnisation pour tort moral qu'elle entend réclamer. Selon l'art. 47 CO, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles ou, en cas de mort d'homme, à la famille une indemnité équitable à titre de réparation morale. Toutefois, selon la pratique, les frères et soeurs de la victime n'ont en principe droit à une indemnité pour tort moral que s'ils vivaient sous le même toit que le défunt (arrêts 6S.700/2001 du 7 novembre 2002 consid. 4.3; DESCHENAUX/STEINAUER, La responsabilité civile, p. 94 n° 28; BREHM, Commentaire Bernois, Berne 2006 n° 153 ss ad art. 47), ou en présence de contacts très étroits (arrêt 1C_286/2008 du 1er avril 2009, consid. 5.2 in fine et les références citées).
La recourante n'apporte aucune précision à ce sujet. Elle ne vivait évidemment pas avec son frère au moment du décès de celui-ci, puisque ce dernier se trouvait en détention depuis de nombreuses années. La recourante n'avait certes pas d'autres parents en Suisse que son frère: sa mère était décédée et son père avait disparu. Toutefois, ses liens avec son frère ne pouvaient que se limiter à des visites en prison ou à de la correspondance, dont on ignore au demeurant la fréquence.
2.4 Les questions qui précèdent peuvent toutefois demeurer indécises. En effet, les considérants suivants imposent en l'espèce d'entrer en matière, indépendamment des prétentions civiles que la recourante entend élever.
2.5 Les art. 10 al. 3 Cst. et 3 CEDH interdisent la torture, ainsi que les peines ou traitements inhumains ou dégradants. La Convention des Nations Unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants, conclue à New York le 10 décembre 1984 (RS 0.105) oblige notamment les Etats parties à se doter d'une loi réprimant les traitements prohibés et à instituer des tribunaux compétents pour appliquer cette loi. La première phrase de l'art. 13 de la convention oblige les Etats parties à reconnaître aux personnes qui se prétendent victimes de traitements prohibés, d'une part, le droit de porter plainte et, d'autre part, un droit propre à une enquête prompte et impartiale devant aboutir, s'il y a lieu, à la condamnation pénale des responsables (ATF 131 I 455 consid. 1.2.5 p. 462). La jurisprudence considère que la victime de traitements prohibés peut fonder son droit de recours sur les dispositions précitées (arrêts 6B_364/2011 du 24 octobre 2011, consid. 2.2; 6B_274/2009 du 16 février 2010 précité, consid. 3.1.2.1).
2.5.1 Ces exigences doivent valoir a fortiori lorsque l'intéressé est décédé des suites d'un traitement prétendument inapproprié: le droit à la vie, tel qu'il est garanti aux art. 2 CEDH et 10 al. 1 Cst., implique notamment une obligation positive pour les Etats parties de préserver la santé et la vie des détenus (ATF 136 IV 97 consid. 6.1.1.). Ce droit nécessite manifestement une protection juridique accrue (ATF 135 I 113 consid. 2.1 p. 117).
2.5.2 Il n'y a pas lieu, au stade de la recevabilité, d'examiner si les actes reprochés aux prévenus sont effectivement constitutifs de violations des dispositions précitées, et en particulier s'ils procèdent d'un comportement intentionnel. Les prévenus se voyaient reprocher d'avoir laissé le détenu dans sa cellule durant plusieurs heures alors que celle-ci était envahie par la fumée, et de ne pas être intervenus à temps malgré les risques pour la santé et la vie de l'intéressé. Ce défaut d'intervention et d'assistance a abouti à la mort du détenu. Cela suffit à reconnaître un droit de recours de la victime, en vertu de la jurisprudence précitée.
2.5.3 Le recours n'est pas formé par la victime, décédée après les évènements qui ont donné lieu à l'enquête pénale, mais par sa soeur. Il n'y a toutefois pas lieu de refuser à la recourante, seul membre connu de la famille de la victime, le droit d'obtenir la poursuite et la répression des auteurs d'éventuelles infractions. L'art. 14 de la Convention contre la torture prévoit expressément qu'en cas de mort de la victime résultant d'un traitement prohibé, les prétentions qui en découlent passent aux ayants cause de celle-ci.
Il y a par conséquent lieu de reconnaître à la recourante la qualité pour agir.
3. La recourante invoque le principe "in dubio pro duriore". Elle estime que la cour cantonale aurait dû admettre l'existence d'indices suffisants de culpabilité justifiant le renvoi des prévenus en jugement. Se plaignant d'arbitraire dans l'appréciation des preuves, elle estime que l'on ne pouvait exclure un rapport de causalité entre le défaut d'intervention des personnes impliquées et le décès de son frère. L'incendie ayant été éteint après dix minutes, on ne pouvait admettre que X._ avait alors déjà inhalé une dose de fumée suffisante pour provoquer irrémédiablement son décès, dans la mesure où il a continué de respirer durant 1h 35 après le début de l'incendie. La question de l'intention (compte tenu du mobile des auteurs et des risques connus de ceux-ci) aurait elle aussi été traitée sur la base d'une appréciation arbitraire des preuves, l'un des intervenants ayant manifestement privilégié son confort personnel, et le personnel ne pouvant ignorer le danger que représentait la fumée dégagée par l'incendie.
3.1 Selon l'art. 319 al. 1 CPP, le Ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a), lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b), lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c), lorsqu'il est établi que certaines conditions à l'ouverture de l'action pénale ne peuvent pas être remplies ou que des empêchements de procéder sont apparus (let. d) ou lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales (let. e). L'art. 319 al. 2 CPP prévoit encore deux autres motifs de classement exceptionnels (intérêt de la victime ou consentement de celle-ci).
3.1.1 De manière générale, les motifs de classement sont ceux "qui déboucheraient à coup sûr ou du moins très probablement sur un acquittement ou une décision similaire de l'autorité de jugement" (Message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005, FF 2006 p. 1255). Un classement s'impose donc lorsqu'une condamnation paraît exclue avec une vraisemblance confinant à la certitude. La possibilité de classer la procédure ne saurait toutefois être limitée à ce seul cas. Une interprétation aussi restrictive imposerait un renvoi en jugement, même en présence d'une très faible probabilité de condamnation. Le principe "in dubio pro duriore" exige donc simplement qu'en cas de doute, la procédure se poursuive. Pratiquement, une mise en accusation s'impose lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement. En effet, en cas de doute, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer. Au stade de la mise en accusation, le principe "in dubio pro reo", relatif à l'appréciation des preuves par l'autorité de jugement, ne s'applique donc pas. C'est au contraire la maxime "in dubio pro duriore" qui impose, en cas de doute, une mise en accusation. Ce principe vaut également pour l'autorité judiciaire chargée de l'examen d'une décision de classement (arrêt 6B_588/2007 du 11 avril 2008, consid. 3.2.3 publié in Praxis 2008 n° 123).
3.1.2 Selon l'art. 2 al. 1 CPP, la justice pénale est administrée uniquement par les autorités désignées par la loi. La compétence pour décider d'un classement total ou partiel appartient au ministère public (art. 319 al. 1 CPP). Celui-ci dispose dans ce cadre d'un large pouvoir d'appréciation, et doit ainsi se demander si une condamnation semble plus vraisemblable qu'un acquittement. Cette question est particulièrement délicate lorsque les probabilités d'un acquittement et d'une condamnation apparaissent équivalentes. Dans de tels cas, pour autant qu'une ordonnance pénale n'entre pas en considération (art. 352 al. 1 CPP), le ministère public est en principe tenu de mettre le prévenu en accusation, en application de l'art. 324 CPP, ce d'autant plus lorsque les infractions sont graves (cf. ATF 137 IV 285 s'agissant d'une ordonnance de non-entrée en matière). L'absence de précédents dans l'application du droit pénal matériel peut également constituer un motif de mise en accusation.
3.1.3 Ainsi entendu, le principe "in dubio pro duriore" ne figure pas expressément dans le CPP actuel. Il se déduit toutefois du principe de la légalité (art. 5 al. 1 Cst. en relation avec l'art. 319 al. 1 let. a et b CPP). Dans ce cadre, les motifs de classement prévus par la loi étant de nature très différente, l'application du principe "in dubio pro duriore" exige, de la part du ministère public et des instances de recours, une appréciation différenciée en fonction du cas d'espèce, tenant compte des intérêts variables qui peuvent se trouver en présence.
3.2 En l'occurrence, l'ordonnance de non-lieu du Juge d'instruction retient que le fait d'avoir refermé la porte de la cellule après l'extinction du feu, de ne pas avoir avisé les pompiers et de ne pas avoir autorisé les ambulanciers puis le SMUR à pénétrer dans la cellule, pouvaient objectivement constituer des négligences. Toutefois, l'élément subjectif (soit notamment la conscience du risque), respectivement le rapport de causalité avec le décès faisaient défaut. Il en allait de même pour le défaut de communication entre l'équipe médicale et les gardiens, pour le retard dans l'intervention, une fois l'urgence constatée, ainsi que pour l'intervention tardive de la directrice de piquet.
L'arrêt cantonal est motivé de façon différente puisqu'il repose essentiellement sur la considération que l'on ignore à partir de quel moment le détenu était intoxiqué de façon irréversible par la fumée. Il était dès lors possible qu'un processus d'intoxication irréversible fût engagé avant même le premier défaut d'intervention reproché au personnel.
3.3 Sur ce point, l'arrêt cantonal retient, dans le doute, la version la plus favorable aux accusés. Or, au stade du classement ou du non-lieu, une telle application du principe "in dubio pro reo" ne se justifie pas (ATF 137 IV 215 consid. 7.3 p. 227). Comme en atteste la longueur de l'arrêt attaqué, la cause soulève de nombreuses questions de fait et de droit, concernant notamment le déroulement précis des faits, et en particulier le moment du décès, respectivement de l'intoxication irréversible; de nombreux services sont impliqués, et plusieurs négligences ont d'ores et déjà été constatées, l'une des questions à résoudre étant l'existence d'un rapport de causalité avec le décès.
Il n'est dès lors pas possible à ce stade de retenir qu'il n'existe aucun soupçon justifiant une mise en accusation (art. 319 al. 1 let. a CPP), ou que les éléments constitutifs d'une infraction ne seraient manifestement pas réunis (art. 319 al. 1 let. b CPP). Compte tenu de la gravité des faits et du droit de la recourante à une enquête effective et à une procédure judiciaire, la décision de non-lieu doit être annulée et un renvoi en jugement s'impose au sens de l'art. 324 CPP, la procédure devant désormais se poursuivre selon le nouveau droit (art. 448 al. 1 CPP).
4. L'admission du recours et l'annulation de l'arrêt cantonal rendent sans objet les griefs d'ordre formel (violations du droit à la preuve) soulevés par la recourante. Les offres de preuves formulées à ce sujet pourront d'ailleurs être reprises dans le cours ultérieur de la procédure. La recourante demande également l'inculpation et le renvoi en jugement de H._, I._ et J._. Le recours ne comporte toutefois aucune motivation sur ce point (art. 42 al. 2 LTF) et les conclusions soulevées à ce égard sont irrecevables. Au demeurant, les trois intéressés, alors non inculpés, n'étaient pas parties à la procédure cantonale. Il appartiendra le cas échéant au Ministère public de décider s'il entend étendre l'accusation à ces personnes.
5. Le recours doit par conséquent être admis. L'arrêt du Tribunal d'accusation est annulé, de même que l'ordonnance de non-lieu du 29 décembre 2010. La cause est renvoyée au Ministère public du canton de Vaud afin qu'il engage l'accusation devant le Tribunal compétent. La recourante obtient gain de cause et a donc droit à l'allocation de dépens, à la charge du canton de Vaud (art. 68 al. 2 LTF). Il n'est pas perçu de frais judiciaires (art. 66 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du Tribunal d'accusation est annulé, de même que l'ordonnance de non-lieu du 29 décembre 2010. La cause est renvoyée au Ministère public du canton de Vaud afin qu'il engage l'accusation devant le Tribunal compétent.
2. Une indemnité de dépens de 3'000 fr. est allouée à la recourante, à la charge du canton de Vaud.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué aux mandataires des parties, au Ministère public central et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
Le Greffier: Kurz