Faits:
A. A.a E.X._, domicilié à F._ (Vaud), est décédé le 8 avril 2008. Il a laissé pour héritiers son fils D.X._ et ses trois filles A._, B._ et C.X._. Cette dernière fait l'objet d'une interdiction et est actuellement placée sous la tutelle d'un avocat.
Le 20 août 2008, le Juge de paix du district de Lausanne a adressé aux héritiers l'inventaire imposé par l'art. 553 al. 1 ch. 1 CC en cas de tutelle d'un des héritiers. Cet inventaire faisait état d'un actif de 18'867 fr. 10.
A.b Par courriers des 22/26 août 2008, A._, B._ et D.X._ ont répudié la succession. Les deux filles ont exposé avoir agi de la sorte parce que, de son vivant, leur père leur avait indiqué qu'il y aurait certainement des dettes dans sa succession; par ailleurs, elles s'étaient fiées à une information de la fiduciaire de leur père qui évoquait une dette potentielle envers I'AVS.
Le 29 octobre 2008, le juge de paix a établi un nouvel inventaire présentant un passif successoral de 25'315 fr. 90. Par courriers des 31 octobre et 3 novembre 2008, les héritiers susmentionnés ont derechef répudié la succession.
A.c A une date indéterminée - que le juge de paix fixe "juste après le décès" -, la fiduciaire du défunt a remis à B.X._ les papiers de ce dernier. A._ et B.X._ n'ont pas examiné ces documents immédiatement. Plus tard, à une date qui ne ressort pas de la procédure, elles ont trouvé parmi ces papiers une reconnaissance de dette pour un montant de 280'000 fr. signée le 24 janvier 2007 par G._ en faveur du défunt. A ce propos, A.X._ a allégué s'être trouvée à l'époque en période d'examens, de sorte qu'elle n'aurait découvert le document en question qu'à la fin de ceux-ci, à une date qu'elle n'a toutefois pas précisée et qui ne ressort pas de la procédure.
Le 19 novembre 2008, A._ et B.X._ se sont rendues chez G._ avec l'original de la reconnaissance de dette. Selon les déclarations de ce tiers, les deux soeurs lui auraient présenté un papier prévoyant de leur attribuer à elles seules la titularité de la reconnaissance de la créance de 280'000 fr.; il aurait refusé de signer ce document et elles seraient "devenues malhonnêtes". Les deux soeurs contestent avoir voulu modifier la reconnaissance de dette du 24 janvier 2007 ou avoir voulu proposer audit tiers la signature d'un autre document.
B. Par requête du 30 novembre 2008, A._ et B.X._ ont sollicité le juge de paix d'invalider leurs déclarations respectives de répudiation. Elles invoquaient la découverte de la reconnaissance de dette précitée et demandaient qu'un nouveau délai de répudiation leur soit imparti dès réception d'un inventaire annulant et remplaçant celui du 29 octobre 2008.
Par décision du 27 janvier 2009, le juge de paix les a déboutées de leur requête en considérant qu'elles s'étaient ravisées tardivement, leur erreur sur les motifs relative à la répudiation n'étant au surplus pas essentielle au sens de l'art. 24 al. 2 CO.
Sur recours des deux intéressées, le Tribunal cantonal vaudois a confirmé la décision du juge de paix par arrêt du 5 juin 2009, notifié le 12 août suivant.
C. Par acte du 11 septembre 2009, A._ et B.X._ ont interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Elles concluent principalement à la réforme de l'arrêt cantonal en ce sens que leur requête d'invalidation de répudiation est admise et un nouveau délai de répudiation imparti dès réception d'un inventaire des biens de la succession annulant et remplaçant celui du 29 octobre 2008. Subsidiairement, elles concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
Considérant en droit:
1. 1.1 Portant sur la répudiation d'une succession, acte qui relève de la juridiction gracieuse (art. 570 CC; cf. ATF 114 II 220 consid. 1), l'arrêt attaqué est une décision rendue en matière civile (art. 72 al. 1 LTF). Il s'agit d'une affaire pécuniaire, dès lors que par leur requête les recourantes visent un but économique (cf. arrêt 4A_584/2008 du 13 mars 2009 consid. 1.1 non publié in ATF 135 III 304; ATF 118 II 528 consid. 2c), affaire dont la valeur litigieuse est supérieure au seuil de 30'000 fr. fixé à l'art. 74 al. 1 let. b LTF, ainsi que l'indiquent l'arrêt attaqué (art. 112 al. 1 let. d LTF) et le mémoire de recours, celui-ci faisant état d'un montant de 160'000 fr. Les recourantes, qui ont succombé dans leurs conclusions devant l'autorité précédente, ont un intérêt juridique à l'annulation ou à la modification de l'arrêt attaqué (art. 76 al. 1 LTF). Interjeté dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi contre une décision prise en dernière instance cantonale (art. 75 al. 1 LTF et 489 ss CPC/VD), le recours en matière civile est donc recevable.
La décision attaquée pouvant ainsi faire l'objet d'un recours selon les art. 72 ss LTF, le recours constitutionnel est irrecevable (art. 113 LTF), étant d'ailleurs rappelé que le droit fédéral dont la violation peut être invoquée à l'appui d'un recours en matière civile (art. 95 let a LTF) comprend les droits constitutionnels (ATF 133 III 446 consid. 3.1, 462 consid. 2.3).
1.2 Sous réserve de l'exception prévue par l'art. 106 al. 2 LTF pour la violation des droits fondamentaux ou de dispositions de droit cantonal et intercantonal (cf. ATF 133 Il 249 consid. 1.4.2), le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation juridique différente de celle de l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent lorsque celles-ci ne sont plus discutées devant lui (ATF 134 III 102 consid. 1.1).
Par ailleurs, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). En l'espèce, les recourantes allèguent devant le Tribunal fédéral plusieurs faits qui n'ont pas été retenus en instance cantonale. Dans la mesure où elles n'expliquent pas en quoi la décision attaquée aurait arbitrairement écarté ces faits, la critique est irrecevable. Le Tribunal fédéral se fondera dès lors uniquement sur les faits retenus par la cour cantonale, qui a fait sien dans son entier l'état de fait du juge de paix.
2. Les recourantes soutiennent que leurs déclarations de répudiation des 26 août et 3 novembre 2008 étaient affectées d'une erreur essentielle au sens de l'art. 24 al. 1 ch. 4 CO, puisqu'elles ignoraient alors l'existence d'une reconnaissance de dette d'un montant de 280'000 fr. en faveur du défunt. L'autorité cantonale aurait donc violé le droit fédéral en écartant leur requête d'invalidation des déclarations de répudiation et de fixation d'un nouveau délai de répudiation.
2.1 Aux termes de l'art. 566 al. 1 CC, les héritiers légaux ou institués ont la faculté de répudier la succession. Le délai pour répudier est de trois mois; il court pour les héritiers légaux dès le jour où ils ont connaissance du décès (art. 567 al. 1 et 2 CC) ou, le cas échéant, dès le jour où la clôture de l'inventaire prévu à l'art. 553 CC a été portée à leur connaissance par l'autorité (art. 568 CC).
La répudiation est un acte juridique unilatéral qui, en tant que droit formateur (sur cette notion: cf. ATF 135 III 441 consid. 3.3), revêt un caractère irrévocable. Si une révocation de la répudiation n'est ainsi pas envisageable, la déclaration de répudiation, à l'instar de tout acte juridique, doit pouvoir être annulée pour vice de la volonté (art. 7 CC et 23 ss CO). La doctrine l'enseigne depuis longtemps (cf. notamment Peter Tuor, Commentaire bernois [1929] n. 6 ad art. 570 CC; Arnold Escher, Commentaire zurichois [1960], n. 8 ad art. 570 CC; Paul Piotet, Traité de droit privé suisse IV [1975], p. 517). La jurisprudence cantonale l'admet (cf. BJM 1983 p. 132 consid. 2C; ZR 1992-93 n. 49). Quant au Tribunal fédéral, il n'a jamais eu l'occasion de se prononcer clairement sur la question: dans un arrêt publié du 24 avril 2003, il a mentionné l'avis favorable de la doctrine, mais a laissé indécise l'application détaillée des art. 23 ss CO dans le cas d'espèce (ATF 129 III 305 consid. 4.3); dans un arrêt ultérieur, statuant sur un recours de droit public, il a déclaré irrecevable le grief d'arbitraire émis contre un arrêt cantonal écartant l'invalidation d'une répudiation au motif que l'erreur alléguée ne portait que sur les effets juridiques accessoires de cette répudiation (arrêt 5P.38/2007 du 5 avril 2007 consid. 4). Depuis lors, la doctrine unanime admet la possibilité d'invalider une répudiation si les conditions d'application des art. 23 ss CO sont réunies (Bruno Schmidlin, Commentaire bernois, n. 173 ad art. 23/24 CO; le même, Commentaire romand, n. 63 ad art. 23-24 CO; Paul-Henri Steinauer, Le droit des successions, Berne 2006, n. 956 note 3; Ivo Schwander, Commentaire bâlois, n. 4 ad art. 566 CC; Ingeborg Schwenzer, même commentaire, n. 5 ad Vorbem. zu art. 23-31 CO; Göksu, Handkommentar zum Schweizer Privatrecht, n. 6 ad art. 566 CC; Thi Nha Khanh Pitteloud-Nguyen, La répudiation d'une sucession, thèse Fribourg 2008, p. 16-18). En accord avec la doctrine, le Tribunal fédéral peut également admettre le principe d'une application - par analogie (Guillaume Vionnet, L'exercice des droits formateurs, thèse Lausanne 2008, p. 365) - des règles des art. 23 ss CO sur l'invalidation à la déclaration de répudiation d'une succession.
2.2 A teneur de l'art. 23 CO, appliqué par analogie, l'acte juridique n'oblige pas celle des parties qui, au moment de l'émettre, était dans une erreur essentielle. L'erreur est notamment essentielle lorsqu'elle porte sur des faits que la loyauté commerciale permettait à celui qui se prévaut de son erreur de considérer comme des éléments nécessaires de sa déclaration de volonté (art. 24 al. 1 ch. 4 CO).
Il y a erreur lorsqu'il existe une divergence entre la réalité et ce que croyait la victime, ou - en d'autres termes - lorsque représentation de la réalité et réalité ne coïncident pas (Schmidlin, Commentaire romand, n. 1 ad art. 23/24 CO; Pierre Tercier, Le droit des obligations, 4e éd. 2009, n. 803). L'erreur doit porter sur des faits qui empêchent la formation correcte de la volonté au moment de l'émission de la déclaration de volonté. Les doutes qui précèdent ou suivent ce moment ne sont pas pertinents puisqu'ils n'influencent pas directement la formation de la volonté; il en va de même d'une simple appréciation subjective de la réalité (Schmidlin, Commentaire romand, n. 3. ad art. 23/24 CO; Tercier, op. cit., n. 804). L'erreur qui porte uniquement sur les motifs ne permet pas l'invalidation du contrat (art. 24 al. 2 CO). Seule l'erreur qualifiée autorise l'invalidation. Une telle erreur doit donc porter sur des circonstances de fait qui, subjectivement, forment la condition sine qua non de l'acte juridique litigieux (condition subjective) et qui, objectivement, doivent être considérées comme essentielles selon la loyauté commerciale (condition objective: Schmidlin, Commentaire romand, n. 7 ad art. 23/24 CO; ATF 132 III 737 consid. 1.3). S'agissant cependant en l'espèce de l'invalidation d'un acte juridique unilatéral, c'est seul le point de vue de l'errans qui doit être apprécié (Vionnet, op. cit., p. 368). Au demeurant, si les développements habituellement consacrés aux éléments considérés comme indispensables dans le commerce sont adaptés pour apprécier l'économie d'un contrat, ils ne sauraient trouver place dans l'examen de la portée d'une déclaration unilatérale de volonté telle que la répudiation d'une succession.
Ainsi, pour la partie dans l'erreur, la mauvaise représentation de la réalité doit avoir joué un rôle à ce point déterminant que, correctement informée, elle n'aurait pas émis la déclaration de volonté litigieuse. Le fait ignoré doit avoir été considéré comme indispensable pour l'errans, de sorte qu'il constitue une véritable condition sine qua non pour sa décision (Schmidlin, Commentaire romand, n. 40 ad art. 23/24 CO). Selon la jurisprudence cantonale déjà citée, tel est le cas de la personne qui n'est pas en mesure d'apprécier la portée de sa déclaration de répudiation et manque d'information au sujet des expectatives de la succession (ZR 1992-93 n. 49 consid. 4a). Dans un contexte analogue, il est admis qu'un héritier qui accepte - expressément ou tacitement - la succession peut invalider cette déclaration de volonté lorsqu'il apprend que - contrairement à sa représentation de la réalité - la succession est grevée d'une dette importante ou massivement obérée (Klaus Lämmli, Die Anfechtung der Erbschafsannahmeerklärung im solothurnischen Zivilprozess, RSJ 1998 p. 404; Pitteloud-Nguyen, op. cit., p. 85 s.). En revanche, l'art. 24 al. 1 ch. 4 CO ne trouve pas application lorsque l'errans a conscience de l'incertitude liée à l'étendue et à la valeur des actifs et des passifs d'une succession; une incertitude sur une situation juridique n'est pas non plus suffisante puisqu'il incombe alors à l'intéressé de peser les avantages et les inconvénients de la répudiation (ATF 129 III 305 consid. 4.3). De même, l'errans ne peut se prévaloir d'une erreur portant sur les effets juridiques accessoires d'un acte, par exemple la perte de la faculté de se subroger dans les droits du de cujus dans un procès en cours (arrêt 5P.38/2007 du 5 avril 2007 consid. 4).
3. En l'espèce, la cour cantonale a confirmé le rejet de la requête en invalidation de la répudiation pour les motifs suivants: tout d'abord, on pouvait douter que l'ignorance de l'existence de la reconnaissance de dette en cause au moment de la déclaration de répudiation pût fonder une erreur essentielle, cette pièce ne démontrant pas que la succession présentait un excédent d'actifs; ensuite, les recourantes étaient conscientes des incertitudes liées à leur vocation successorale, puisqu'elles avaient répudié la succession après la réception du premier inventaire faisant état d'un excédent d'actifs; enfin, au vu de ces incertitudes, les règles de la bonne foi commandaient aux recourantes d'éclaircir la situation en examinant les documents remis par la fiduciaire de leur père avant de déclarer vouloir répudier la succession; d'ailleurs, une telle négligence aurait exclu la restitution du délai de répudiation selon l'art. 576 CC.
4. Les recourantes soutiennent qu'elles se sont déterminées sur la base d'une appréciation objective de la valeur de la succession et que cette appréciation était viciée par suite d'une erreur qui doit être qualifiée d'essentielle au sens de l'art. 24 al. 1 ch. 4 CO.
Lorsqu'elles ont procédé à la répudiation de la succession, le 26 août 2008, les recourantes disposaient des informations suivantes: au dire de leur père, la succession allait certainement comporter des dettes; une dette potentielle envers I'AVS était également évoquée par la fiduciaire du de cujus; en revanche, le premier inventaire établi quatre mois après le décès faisait état d'un actif de 18'867 fr. 10. Ces informations, en partie contradictoires les unes avec les autres, créaient inévitablement une situation d'incertitude quant à l'état réel de la succession, incertitude qui a subsisté lors de la seconde déclaration de répudiation du 3 novembre 2008. Cet état d'incertitude n'a pas échappé aux recourantes, puisque celles-ci affirment dans leur mémoire qu'elles ont dû à l'époque procéder à une appréciation du risque qu'il y avait à accepter la succession, appréciation qui pouvait varier en fonction du montant des actifs et des passifs connus. Or, sur ce point, les recourantes ne chiffrent d'aucune manière les dettes évoquées par leur père ou sa fiduciaire. Elles affirment uniquement qu'elles auraient apprécié différemment le risque d'accepter la succession si elles avaient eu connaissance de l'existence d'un actif supplémentaire de 280'000 fr. Certes, il se peut qu'elles aient effectivement ignoré l'existence de cet actif, qui devait laisser un solde positif. Ce point n'est toutefois pas décisif et la question de savoir si les incertitudes susmentionnées excluaient l'erreur peut même demeurer indécise, car l'argument fondé sur une prétendue erreur essentielle au sens de l'art. 24 CO doit être rejeté sur la base de l'art. 25 al. 1 CO. En effet, conformément à cette disposition, le fait que les recourantes ont eu en leurs mains la reconnaissance de dette juste après le décès de leur père et qu'elles n'ont pas pris la peine d'examiner ce document a pour conséquence qu'elles ne peuvent pas se prévaloir de leur erreur.
5. Les recourantes invoquent la violation de l'art. 576 CC, disposition relative à la prorogation des délais en matière de répudiation.
A teneur de la jurisprudence, cette disposition prévoit non seulement une prolongation du délai de répudiation, mais aussi une restitution de ce délai s'il est échu. Destinée à éviter des duretés - à savoir la déchéance du droit de répudier (Steinauer, op. cit., n. 975), elle permet à l'héritier de prendre sa décision en connaissance de cause et de la faire connaître quand il le pourra. Elle ne peut cependant pas être invoquée pour réparer une négligence des héritiers concernés ou pour corriger une décision (d'acceptation) qui s'est, par la suite, révélée erronée (ATF 114 II 220 consid. 2 et les références citées). Elle ne s'applique donc pas lorsqu'une déclaration de répudiation a déjà été manifestée, à moins que celle-ci ne soit annulée pour vice du consentement. Cette dernière restriction n'entrant pas en considération en l'espèce (consid. 4 in fine), le grief de violation de l'art. 576 CC est soulevé en vain.
6. Les recourantes allèguent la violation de leur droit d'être entendues garanti par l'art. 29 al. 2 Cst.
A les suivre, l'autorité précédente aurait violé son obligation de motiver sa décision en ne traitant pas leur moyen de nullité, pourtant régulièrement invoqué au sens du droit cantonal. Par ce moyen, les recourantes s'en prenaient au fait que la décision du juge de paix ne permettait pas de savoir si la reconnaissance de dette litigieuse faisait partie du dossier que leur avait transmis la fiduciaire après le décès de leur père. Par rapport à la motivation juridique adoptée par l'autorité précédente, cet élément de fait paraît sans pertinence pour l'issue du litige. Peu importe que le document litigieux se fût trouvé dans le dossier de la fiduciaire ou qu'il fût parvenu aux recourantes par un autre moyen. Le fait - non contesté devant le Tribunal fédéral - est qu'elles se trouvaient en possession de la reconnaissance de dette depuis plusieurs mois lorsqu'elles ont décidé d'invalider leur déclaration de répudiation et qu'elles n'ont pas pris la peine d'examiner ledit document, négligence qui, ainsi qu'on l'a vu plus haut (consid. 4), les empêche de se prévaloir valablement de leur prétendue erreur.
Le grief de violation du droit d'être entendu tombe donc à faux.
7. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité. Les recourantes, qui succombent, doivent supporter les frais judiciaires (art. 66 al. 1 et 5 LTF) et verser à l'intimée C.X._ une indemnité pour ses dépens, indemnité qui, vu la brièveté de la réponse, peut être réduite (art. 68 al. 1, 2 et 4 LTF). II n'y a pas lieu d'allouer de dépens à l'intimé D.X._, qui n'a pas présenté de réponse au recours.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourantes, solidairement entre elles.
3. Une indemnité de 1'000 fr., à payer à l'intimée C.X._ à titre de dépens, est mise à la charge des recourantes, solidairement entre elles.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 avril 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Hohl Fellay