Faits:
A. Le 13 octobre 2007, X._ a porté plainte pénale contre sa mère et son demi-frère, qu'elle suspectait de s'être rendus coupables d'escroquerie dans le cadre de la succession de son beau-père, feu A._.
Par un arrêt du 28 février 2008 qui n'a fait l'objet d'aucun recours, le Tribunal d'accusation du canton de Vaud a confirmé le refus du Juge d'instruction de l'arrondissement de Lausanne de suivre à cette plainte.
B. Le 27 juin 2008, X._ a déposé une nouvelle plainte pénale, contre sa mère, son demi-frère et diverses autres personnes, derechef pour des actes frauduleux prétendument commis dans le cadre de la succession de feu A._.
Statuant le 24 juillet 2008, le Juge d'instruction de l'arrondissement de Lausanne a refusé de suivre à cette seconde plainte et mis une partie des frais d'enquête à la charge de X._.
Par arrêt du 26 août 2008, le Tribunal d'accusation du canton de Vaud a confirmé cette décision. Il a considéré que les faits délictueux allégués dans la seconde plainte étaient ceux-là mêmes qui avaient donné lieu au premier refus de suivre et que le principe ne bis in idem interdisait de rouvrir l'enquête. Concernant les frais, il a jugé que la recourante avait agi avec légèreté en déposant sa seconde plainte et qu'elle devait dès lors supporter les frais de la décision refusant d'y donner suite.
C. Déclarant agir principalement par la voie du recours en matière pénale, subsidiairement par celle du recours constitutionnel subsidiaire, X._ recourt au Tribunal fédéral contre ce dernier arrêt, dont elle demande l'annulation, avec renvoi de la cause à la cour cantonale pour nouvelle décision.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Seules ont qualité pour former un recours en matière pénale ou un recours constitutionnel subsidiaire au Tribunal fédéral les personnes qui justifient d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée (cf. art. 81 al. 1 let. b et 115 let. b LTF, a contrario). Un intérêt de fait ne suffit pas.
1.1 La loi pénale de fond ne confère pas au lésé un droit à l'application des peines et mesures qu'elle prévoit. L'action pénale appartient exclusivement au ministère public, qui est dès lors, sous réserve d'exceptions non pertinentes en l'espèce, le seul à pouvoir remettre en cause une décision favorable au prévenu. Le lésé qui n'a pas la qualité de victime au sens des art. 1, 37 LAVI et 81 al. 1 let. b ch. 5 LTF ne peut dès lors pas recourir au Tribunal fédéral contre le refus du ministère public d'exercer l'action pénale, contre une ordonnance de refus de suivre ou de non-lieu du juge d'instruction ou contre un jugement d'acquittement (cf., pour le recours en matière pénale: ATF 133 IV 228 et les références; pour le recours constitutionnel subsidiaire: arrêt 6B_480/2007 du 31 janvier 2008 consid. 1.1).
Le simple lésé dispose d'un intérêt juridique à l'annulation de telles décisions, et a qualité pour recourir contre elles au Tribunal fédéral, seulement s'il fait valoir qu'on l'a empêché de participer à la procédure au mépris d'un droit formel d'y participer ou s'il fait valoir qu'elles ont été prises sans respecter un droit formel que les normes de rang constitutionnel ou la loi de procédure applicable lui attribuaient en sa qualité de partie au procès (arrêt 6B_480/ 2007 du 31 janvier 2008 consid. 1.1 et 1.3 et les références; ATF 120 Ia 157 consid. 2a/bb p. 160). Mais ce droit d'invoquer des garanties de procédure ne permet pas de remettre en cause, même de façon indirecte, la décision sur le fond. Les droits formels prétendument violés doivent être entièrement séparés des questions de fond. Ainsi, le lésé peut faire grief à l'autorité cantonale d'avoir refusé à tort d'entrer en matière sur le recours dont il l'avait saisie, de ne pas lui avoir donné l'occasion de s'exprimer, de formuler des réquisitions tendant à l'administration de preuves ou, encore, de consulter le dossier. Mais, faute d'avoir qualité pour recourir sur le fond, le lésé ne peut contester ni l'appréciation des preuves, ni le rejet d'une réquisition motivé par une appréciation anticipée de la preuve requise ou par le défaut de pertinence du fait à établir (cf. arrêt non publié 6B_480/2007 du 31 janvier 2008 consid. 1.3 et les références; ATF 120 Ia 157 consid. 2a/bb p. 160).
Si l'infraction ne se poursuit que sur plainte, le lésé a un intérêt juridique à l'annulation du refus de suivre, du non-lieu ou de l'acquittement s'il fait valoir que cette décision lui a dénié en violation de l'art. 30 CP le droit de porter plainte (cf. art. 81 al. 1 let. b ch. 6 LTF). Par ailleurs, s'il a été condamné aux frais ou aux dépens, le lésé a également qualité pour recourir (arrêt 6B_300/2007 du 13 novembre 2007 consid. 1.1), mais exclusivement contre cette disposition de la décision attaquée.
Dans le cas présent, la recourante, qui n'a pas été atteinte directement dans son intégrité physique, psychique ou sexuelle par les infractions purement économiques qu'elle dénonce, n'est pas victime au sens des art. 1, 37 LAVI et 81 al. 1 let. b ch. 5 LTF. Elle ne peut obtenir l'annulation de l'arrêt attaqué, sur recours en matière pénale, que pour violation de ses droits de partie à la procédure, fausse application des art. 30 ss CP ou application arbitraire des règles de droit cantonal sur les frais.
1.2 En premier lieu, la recourante invoque une fausse application du principe ne bis in idem. Elle fait valoir que sa plainte du 27 juin 2008 n'avait pas pour objet les mêmes faits que ceux visés par la précédente ordonnance de refus de suivre et que le principe ne bis in idem n'empêchait dès lors pas de rouvrir l'enquête.
Le principe ne bis in idem, aspect négatif de l'autorité de la chose jugée (Piquerez, Traité de procédure pénale suisse, 2ème éd., 2006, n. 1533 p. 908), interdit de poursuivre deux fois la même personne pour le même fait délictueux. Il n'énonce pas une règle de procédure, indiquant au ministère public comment agir pour obtenir l'application des peines et mesures prévues par la loi; il soumet à une condition négative la possibilité même d'engager des poursuites à cette fin. Il institue ainsi une cause d'extinction de l'action pénale (Piquerez, op. cit., n. 1014 p. 648). Le simple lésé, qui n'a aucun intérêt juridique à l'action pénale, n'a dès lors pas qualité pour recourir au Tribunal fédéral contre la décision constatant l'extinction de l'action pénale par suite d'une fausse application de ce principe.
Le premier moyen de la recourante est dès lors irrecevable.
1.3 La recourante fait ensuite grief à la cour cantonale d'avoir commis l'arbitraire, au sens de l'art. 9 Cst., en refusant d'ordonner la réouverture de l'enquête, alors que les conditions d'application de l'art. 309 let. a du code de procédure pénale vaudois (ci-après CPP/ VD; RSV 312.01) étaient, selon la recourante, manifestement remplies.
L'art. 309 let. a CPP/VD, qui prévoit qu'une enquête close par un arrêt ou une ordonnance de non-lieu peut être rouverte lorsque des indices nouveaux viennent à être découverts, tire les conséquences du caractère provisoire de l'autorité de chose jugée reconnue aux arrêts et ordonnances de non-lieu motivés en fait (cf. Piquerez, op. cit., n. 1538 p. 911). Il n'énonce pas une règle de procédure, mais rappelle l'une des conditions de l'action pénale. En refusant de rouvrir une enquête au motif qu'il n'y a pas d'indice nouveau au sens de l'art. 309 CPP/VD, le juge d'instruction refuse de laisser le ministère public, le cas échéant à l'initiative du plaignant, exercer à nouveau l'action pénale. Le simple lésé n'a pas plus qualité pour contester le bien-fondé d'une telle décision que pour invoquer une fausse application du principe ne bis in idem.
Ainsi, le deuxième moyen du recourant est également irrecevable.
1.4 La recourante fait valoir qu'en refusant d'entrer en matière sur des éléments nouveaux au sens de l'art. 309 let. a CPP/VD, la cour cantonale aurait commis un déni de justice formel.
Ce moyen est indissociable du précédent, qu'il présuppose fondé. Il est dès lors irrecevable.
1.5 La recourante invoque encore une violation de son droit à l'administration des preuves, composante du droit d'être entendu garanti par l'art. 29 al. 2 Cst., consistant d'après elle en ce que la cour cantonale a écarté ses pièces nouvelles aux seuls motifs que l'une d'elles relevaient de considérations civiles et que l'autre portait sur un point déjà tranché dans l'arrêt confirmant le premier refus de suivre.
Ce faisant, la recourante ne soutient pas qu'on lui aurait refusé la possibilité de produire des pièces nouvelles; elle se plaint du fait que ses pièces aient été jugées non probantes ou non pertinentes. Elle remet ainsi en cause le fond de la décision attaquée, ce pour quoi elle n'a pas qualité. Son moyen est dès lors irrecevable.
2. Invoquant une violation de son droit à l'obtention d'une décision motivée, autre composante du droit d'être entendu garanti à l'art. 29 al. 2 Cst., la recourante fait grief à la cour cantonale de ne pas avoir expliqué en quoi les faits qu'elle avait allégués dans sa seconde plainte n'étaient pas nouveaux, au sens de l'art. 309 let. a CPP/VD.
Dans l'arrêt attaqué, la cour cantonale a indiqué, en substance, que l'analyse de l'expert mandaté après le premier refus de suivre ne mettaient pas en évidence de fait nouveau au sens de l'art. 309 let. a CPP/VD, parce que les questions discutées dans son rapport n'avaient d'importance que pour des considérations civiles. Concernant le portefeuille de titres litigieux, la cour cantonale a renvoyé aux motifs de son précédent arrêt, ce qui signifie clairement qu'elle considérait que les éléments nouveaux invoqués par la recourante étaient sans pertinence et ne permettaient dès lors pas de rouvrir l'enquête. Ainsi, la cour cantonale a motivé son appréciation des pièces annexées à la seconde plainte de la recourante. Le moyen pris d'une violation du droit constitutionnel à l'obtention d'une décision motivée est mal fondé.
Savoir si les motifs que la cour cantonale a retenus suffisent à justifier l'arrêt attaqué au regard de l'art. 309 let. a CPP/VD et du principe ne bis in idem est une toute autre question, qui relève du fond et que la recourante n'a pas qualité pour discuter devant le Tribunal fédéral.
3. Après avoir constaté que les conditions d'application de l'art. 309 let. a CPP/VD n'étaient pas remplies et que le principe ne bis in idem faisait obstacle à la réouverture de l'enquête faute d'indices nouveaux, la cour cantonale a considéré, par surabondance, que la recourante n'avait pas qualité pour porter plainte, parce qu'elle n'était pas héritière de son beau-père.
La recourante conteste ce point de vue en faisant valoir que le défunt lui a légué un portefeuille d'actions dont la valeur a été diminuée par les infractions qu'elle dénonce. Elle en conclut qu'elle a la qualité de lésée tant au regard de l'art. 30 CP, qui confère au "lésé" le droit de porter plainte contre l'auteur d'une infraction qui ne se poursuit que sur plainte, que des art. 83 et 94 CPP/VD, qui donnent à la personne "lésée" par l'infraction le droit de participer à la procédure en qualité de partie civile. L'arrêt attaqué méconnaîtrait ainsi à la fois son droit de porter plainte contre des familiers pour escroquerie (cf. art. 30 et 146 al. 3 CP) que son droit de provoquer la réouverture de l'enquête en tant que partie à la procédure. On peut se demander si une ordonnance de non-lieu, au sens large, motivée par l'insuffisance des charges et par le défaut de qualité du plaignant pour porter plainte et devenir partie à la procédure empêche définitivement le plaignant de requérir la réouverture de l'enquête, ou si, au contraire, la qualité de celui-ci peut être réexaminée à l'occasion d'une requête de réouverture d'enquête fondée sur des indices nouveaux.
En l'espèce, la question peut toutefois rester indécise, parce qu'un premier refus de suivre a déjà été rendu au motif, notamment, que la recourante n'était pas lésée par les infractions qu'elle dénonçait. Dès lors, si le non-lieu motivé par le défaut de qualité du prétendu lésé fait autorité sur ce point, la recourante, qui n'est pas légitimée pour contester que les infractions dénoncées dans sa seconde plainte étaient bien identiques à celles visées par la première, ne peut plus soutenir qu'elle a qualité pour porter plainte et devenir partie à la procédure. Son moyen doit alors être rejeté. En revanche, si le non-lieu motivé par le défaut de qualité du prétendu lésé n'a pas autorité sur ce point et si, par conséquent, cette question peut être réexaminée en cas de demande de réouverture d'enquête, la recourante n'a alors plus aucun intérêt à faire valoir qu'elle avait qualité pour porter plainte, puisqu'elle pourra faire réexaminer cette question si elle découvre des indices nouveaux. Ainsi, en toute hypothèse, le moyen pris d'une violation des art. 30 ss CP et 83 CPP/VD ne peut prospérer. Il convient dès lors de le rejeter pour autant qu'il soit recevable.
4. Enfin, la recourante reproche à la cour cantonale d'avoir commis l'ar-bitraire en confirmant sa condamnation aux frais d'enquête. La décision sur les frais de la procédure cantonale relève du droit cantonal. Le Tribunal fédéral ne peut revoir les questions de droit cantonal que sous l'angle restreint de l'arbitraire, dans le cadre d'un moyen pris de la violation d'un droit constitutionnel (cf. art. 95 et 96 LTF, a contrario), expressément soulevé et développé avec la précision requise à l'art. 106 al. 2 LTF.
Dans le cas présent, la recourante n'indique même pas quelle règle de droit cantonal la décision de la cour cantonale violerait ni, à plus forte raison, sur quel point. Son grief est dès lors irrecevable.
Il s'ensuit, en définitive, que le recours doit être rejeté dans la mesure où il est recevable.
5. La recourante, qui succombe, doit supporter les frais de justice (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du canton de Vaud.
Lausanne, le 10 mars 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Oulevey