Faits: A. A.a E.X._, domicilié à F._ (Vaud), est décédé le 8 avril 2008. Il a laissé pour héritiers son fils D.X._ et ses trois filles A._, B._ et C.X._. Cette dernière fait l'objet d'une interdiction et est actuellement placée sous la tutelle d'un avocat. Le 20 août 2008, le Juge de paix du district de Lausanne a adressé aux héritiers l'inventaire imposé par l'art. 553 al. 1 ch. 1 CC en cas de tutelle d'un des héritiers. Cet inventaire faisait état d'un actif de 18'867 fr. 10. A.b Par courriers des 22/26 août 2008, A._, B._ et D.X._ ont répudié la succession. Les deux filles ont exposé avoir agi de la sorte parce que, de son vivant, leur père leur avait indiqué qu'il y aurait certainement des dettes dans sa succession; par ailleurs, elles s'étaient fiées à une information de la fiduciaire de leur père qui évoquait une dette potentielle envers I'AVS. Le 29 octobre 2008, le juge de paix a établi un nouvel inventaire présentant un passif successoral de 25'315 fr. 90. Par courriers des 31 octobre et 3 novembre 2008, les héritiers susmentionnés ont derechef répudié la succession. A.c A une date indéterminée - que le juge de paix fixe "juste après le décès" -, la fiduciaire du défunt a remis à B.X._ les papiers de ce dernier. A._ et B.X._ n'ont pas examiné ces documents immédiatement. Plus tard, à une date qui ne ressort pas de la procédure, elles ont trouvé parmi ces papiers une reconnaissance de dette pour un montant de 280'000 fr. signée le 24 janvier 2007 par G._ en faveur du défunt. A ce propos, A.X._ a allégué s'être trouvée à l'époque en période d'examens, de sorte qu'elle n'aurait découvert le document en question qu'à la fin de ceux-ci, à une date qu'elle n'a toutefois pas précisée et qui ne ressort pas de la procédure. Le 19 novembre 2008, A._ et B.X._ se sont rendues chez G._ avec l'original de la reconnaissance de dette. Selon les déclarations de ce tiers, les deux soeurs lui auraient présenté un papier prévoyant de leur attribuer à elles seules la titularité de la reconnaissance de la créance de 280'000 fr.; il aurait refusé de signer ce document et elles seraient "devenues malhonnêtes". Les deux soeurs contestent avoir voulu modifier la reconnaissance de dette du 24 janvier 2007 ou avoir voulu proposer audit tiers la signature d'un autre document. B. Par requête du 30 novembre 2008, A._ et B.X._ ont sollicité le juge de paix d'invalider leurs déclarations respectives de répudiation. Elles invoquaient la découverte de la reconnaissance de dette précitée et demandaient qu'un nouveau délai de répudiation leur soit imparti dès réception d'un inventaire annulant et remplaçant celui du 29 octobre 2008. Par décision du 27 janvier 2009, le juge de paix les a déboutées de leur requête en considérant qu'elles s'étaient ravisées tardivement, leur erreur sur les motifs relative à la répudiation n'étant au surplus pas essentielle au sens de l'art. 24 al. 2 CO. Sur recours des deux intéressées, le Tribunal cantonal vaudois a confirmé la décision du juge de paix par arrêt du 5 juin 2009, notifié le 12 août suivant. C. Par acte du 11 septembre 2009, A._ et B.X._ ont interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Elles concluent principalement à la réforme de l'arrêt cantonal en ce sens que leur requête d'invalidation de répudiation est admise et un nouveau délai de répudiation imparti dès réception d'un inventaire des biens de la succession annulant et remplaçant celui du 29 octobre 2008. Subsidiairement, elles concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision.