Faits:
A. X._ et A.X._ se sont mariés en 1978. Ils ont eu trois filles, B.X._, C.X._ et D.X._, nées respectivement en ..., ... et ....
Le 15 janvier 1988, X._ a conclu une assurance vie (police n° xxx) auprès d'une société aujourd'hui devenue Y._ (ci-après: l'assurance); le contrat prévoyait le versement d'un capital de 150'000 fr. en cas de décès avant le 1er octobre 2007; les bénéficiaires des prestations d'assurance étaient le preneur d'assurance, puis, à défaut et dans cet ordre, son conjoint, ses enfants, ses père et mère, ses héritiers légaux; en cas de décès, les droits devaient revenir au bénéficiaire désigné; les droits découlant du contrat pouvaient être cédés ou mis en gage, à condition d'observer la forme écrite, de remettre la police au tiers intéressé et d'aviser l'assurance de la cession ou du nantissement.
X._ avait plusieurs comptes bancaires auprès d'un établissement actuellement devenu Z._ SA (ci-après: la banque), dont les comptes n°s 1 et 2, avec une limite de crédit de respectivement 50'000 fr. et 1'100'000 francs.
Le 8 avril 1991, X._ a envoyé à la banque un courrier signé de sa main selon lequel il lui remettait deux polices d'assurances, dont la n° xxx susmentionnée, en nantissement pour garantir le crédit accordé par le compte n° 1. A cette date-là, ce compte indiquait un solde débiteur de 567'244 fr. 90.
Par courrier du 21 janvier 1992, la banque s'est déclarée disposée à regrouper les limites de crédit des deux comptes nos 1 et 2 sur le compte n° 1, garanti par les deux polices d'assurance déjà en sa possession, ainsi que par la cession du produit de la vente d'un immeuble; elle posait comme condition que le dépassement de crédit des comptes soit régularisé à hauteur de 250'000 fr. au 31 mars 1992 et le solde au 30 juin 1992. A titre d'accord, X._ devait lui renvoyer, contresignés, le double du courrier, les deux déclarations de cession ainsi que les quatre actes de nantissement pour police. X._ n'a pas retourné les documents et n'a pas régularisé le dépassement de crédit. La banque a alors déclaré le crédit accordé le 21 janvier 1992 caduc. Le 1er septembre 1992, elle a informé l'assurance que X._ lui avait remis en gage la police n° xxx par courrier du 8 avril 1991.
Le 28 octobre 1996, X._ a été déclaré en faillite. L'Office des faillites a considéré que la police d'assurance n° xxx ne tombait pas dans la masse. La banque a obtenu des actes de défaut de biens pour un montant total de plus de 7'000'000 francs.
X._ a divorcé de A.X._ en 1998 et s'est remarié en 2002. Il est décédé le 6 novembre 2004. Ce jour-là, le compte n° 1 présentait un solde débiteur de 2'102'663 fr. 60.
Suite au décès de X._, A.X._, B.X._, C.X._ et D.X._ ont fait valoir des droits sur le capital-décès résultant de la police d'assurance vie n° xxx. L'assurance, considérant que cette police faisait l'objet d'un nantissement en faveur de la banque, a requis de pouvoir consigner le capital de 150'000 fr., ce que le Tribunal de première instance du canton de Genève a autorisé par ordonnance du 9 juin 2005.
B. Le 16 août 2005, A.X._, B.X._, C.X._ et D.X._ ont ouvert action contre l'assurance en paiement de 150'000 fr. plus intérêts. La banque est intervenue dans le procès afin de faire constater que la police d'assurance lui avait été valablement nantie et que le montant de 150'000 fr. lui revenait. La nouvelle épouse du défunt n'est pas intervenue dans la procédure et a irrévocablement renoncé à tout droit sur l'assurance.
D.X._ est décédée le 15 septembre 2006, laissant sa soeur C.X._ comme unique héritière. A.X._, B.X._ et C.X._ ont alors modifié leurs conclusions en ce sens que l'assurance est condamnée à verser à B.X._ la somme de 50'000 fr. et à C.X._ celle de 100'000 fr. avec intérêts, et que le montant consigné est libéré en leur faveur.
Par jugement du 5 février 2009, le Tribunal de première instance a ordonné la libération, en faveur de la banque, du montant consigné de 150'000 fr.; en substance, il a jugé que la police d'assurance avait été valablement nantie par le courrier du 8 avril 1991, les opérations et tractations ultérieures étant sans incidence sur sa validité; il en a déduit que la clause bénéficiaire était partiellement révoquée, à concurrence du montant de la dette du défunt envers la banque, et que celle-ci était en conséquence en droit d'être désintéressée en priorité à hauteur de ce montant; il a enfin retenu que l'assurance avait valablement procédé à la consignation et s'était libérée de son obligation.
Statuant sur appel de A.X._, B.X._ et C.X._ par arrêt du 16 octobre 2009, la Chambre civile de la Cour de justice du canton de Genève a confirmé le jugement entrepris.
C. A.X._, B.X._ et C.X._ (les recourantes) interjettent un recours en matière civile au Tribunal fédéral; elles concluent principalement à la condamnation de l'assurance à payer à B.X._ la somme de 50'000 fr. et à C.X._ la somme de 100'000 fr. avec intérêts à 5 % l'an dès le 6 novembre 2004, et à la libération du montant consigné par l'assurance.
L'assurance propose le déboutement des recourantes de leurs conclusions prises à son encontre et s'en remet à justice s'agissant des conclusions visant à la libération en leur faveur du montant consigné.
Pour sa part, la banque conclut au rejet du recours et à la confirmation de l'arrêt attaqué dans le sens que le montant consigné de 150'000 fr. est libéré en sa faveur.
Considérant en droit:
1. Le recours en matière civile présentement soumis à l'examen du Tribunal fédéral est dirigé contre une décision par laquelle l'autorité cantonale de dernière instance a mis fin à une cause civile portant sur un montant de 150'000 fr.; en conséquence, il est recevable (cf. art. 51 al. 1 let. a, art. 72 al. 1, art. 74 al. 1 let. b et art. 75 al. 1 LTF). Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF; cf. ATF 135 III 127 consid. 1.5, 133 III 545 consid. 2.3); il n'examine en principe que les griefs soulevés (ATF 133 III 545 consid. 2.2).
2. Les recourantes se plaignent d'une violation de l'art. 73 de la loi fédérale du 2 avril 1908 sur le contrat d'assurance (loi sur le contrat d'assurance, LCA; RS 221.229.1) et de l'art. 13 CO; à leur avis, le courrier de X._ du 8 avril 1991 ne répondrait pas aux exigences de forme pour le nantissement d'un droit découlant d'une assurance de personnes.
2.1 Aux termes de l'art. 73 al. 1 LCA, le droit qui découle d'un contrat d'assurance de personnes ne peut être constitué en gage ou cédé ni par endossement ni par simple tradition de la police. Pour que la constitution du gage et la cession soient valables, il faut la forme écrite et la tradition de la police, ainsi qu'un avis écrit à l'assurance. Ces exigences correspondent à celles de l'art. 900 CC relatives à la constitution de gages sur des créances, si ce n'est que l'avis au tiers débiteur est obligatoire (Oftinger/Bär, Zürcher Kommentar, 3e éd. 1981, n° 83 ad art. 900 CC). Quant à l'art. 13 CO, il précise que le contrat pour lequel la loi exige la forme écrite doit être signé par toutes les personnes auxquelles il impose des obligations.
Un acte de nantissement formel n'est pas nécessaire. Une correspondance signée suffit, à condition de contenir les éléments essentiels du contrat (cf. ATF 27 II 193 consid. 4 p. 196; Zobl, Berner Kommentar, 2e éd. 1996, n° 29 ad art. 900 CC).
Le contrat de nantissement conclu entre le constituant et le créancier gagiste n'impose d'obligation qu'au premier. Dès lors, la seule signature du constituant suffit à l'exigence de la forme écrite; l'accord du créancier gagiste peut être oral voire tacite (cf. ATF 27 II 527 consid. 4 p. 531 s.; Lombardini, Droit bancaire suisse, 2e éd. 2008, p. 888; Guggenheim, in Commentaire romand, n° 8 ad art. 13 CO; Kuhn, Basler Kommentar, 2001, n° 36 ad art. 73 LCA p. 986; Foëx, Le contrat de gage mobilier, 1997, p. 167 n° 442; Zobl, op. cit., n° 30 ad art. 900 CC; Kramer/Schmidlin, Berner Kommentar, 1986, n° 58 ad art. 11 CO et n° 8 ad art. 13 CO; Oftinger/Bär, op. cit., n° 20 ad art. 900 CC).
L'avis écrit à l'assurance en tant que tiers débiteur est une condition de validité du contrat de mise en gage de créances découlant d'un contrat d'assurance de personnes. Cet avis peut être donné en tout temps, même après plusieurs années; il peut émaner du constituant ou du créancier gagiste (cf. ATF 47 II 474; Steinauer, Les droits réels, tome III, 3e éd. 2003, p. 454 n° 3157e; Kuhn, op. cit., n° 36 ad art. 73 LCA p. 986; du même avis, contrairement à ce qu'affirment les recourantes: Carré, Loi fédérale sur le contrat d'assurance, 2000, ad art. 73 LCA p. 403, chapitre "forme écrite de l'avis à l'assureur", paragraphe 2, 2e phrase).
2.2 En l'espèce, par courrier du 8 avril 1991 portant sa signature, X._ a déclaré remettre à la banque la police d'assurance n° xxx en nantissement pour garantir le crédit accordé par le compte courant n° 1. Ce document écrit est signé par la personne constituant le gage, et il contient tous les éléments essentiels du contrat de gage; les exigences de la forme écrite sont remplies. Pour le surplus, la police d'assurance a été remise à la banque et, le 1er septembre 1992, celle-ci a informé par écrit l'assurance du nantissement. Dès cette date-là, le gage était valablement constitué.
Dans le cadre d'une proposition de restructuration des crédits, la banque a requis X._ de signer un nouveau contrat de nantissement, ce que ce dernier n'a pas fait. Cela ne touche toutefois pas la validité du premier nantissement. Il n'est pas allégué qu'il aurait été annulé par les parties; la banque est d'ailleurs restée en possession de la police d'assurance dont X._ n'a pas demandé la restitution. C'est dès lors à tort que les recourantes entendent déduire l'invalidité de ce nantissement de l'instance de la banque à obtenir de X._ qu'il signe le nouveau contrat, peu importe que la banque ait agi par simple volonté de standardiser ses dossiers ou pour déroger contractuellement à certaines règles légales.
3. Les recourantes se plaignent d'une violation de l'art. 906 CC et des art. 10, 11, 12 et 14 de l'ordonnance du 10 mai 1910 concernant la saisie, le séquestre et la réalisation de droits découlant d'assurances d'après la loi fédérale du 2 avril 1908 sur le contrat d'assurance (OSAss; RS 281.51); elles soutiennent que même si la banque avait un droit de gage, l'autorité cantonale ne pouvait pas libérer le montant consigné en sa faveur; à leur avis, la banque aurait dû inviter l'Office des faillites à ouvrir action pour contester la clause bénéficiaire en leur faveur et, en cas de renonciation de la part de celui-ci, demander la cession des droits de la masse; à ce défaut, la banque aurait perdu tous ses droits.
3.1 A teneur de l'art. 80 LCA, lorsque, dans une assurance de personnes, le preneur d'assurance a désigné comme bénéficiaires notamment son conjoint ou ses descendants, le droit qui découle de la désignation du bénéficiaire et celui du preneur ne sont pas soumis à l'exécution forcée au profit des créanciers du preneur, sous réserve toutefois des droits de gage existants. Dans ce cas, selon les art. 10 et 11 OSAss, lorsqu'un créancier allègue qu'un droit découlant pour le failli d'une assurance de personnes avec clause bénéficiaire au sens précité a été constituée en gage à son profit, l'administration de la faillite décide d'abord si elle veut ouvrir ou non action en contestation de la clause bénéficiaire; dans la seconde alternative, elle donnera aux créanciers la faculté de soutenir le procès en son nom. Aux termes de l'art. 12 OSAss, en cas de reconnaissance de la clause bénéficiaire, le droit de gage n'est pas liquidé dans la faillite.
Selon ces dispositions, la désignation du conjoint et des descendants comme bénéficiaires ne s'éteint pas en cas de faillite du preneur d'assurance; la prétention d'assurance est soustraite à l'exécution forcée, et le bénéficiaire est substitué au preneur au moment de l'ouverture de la faillite; si donc la clause bénéficiaire n'est pas contestée, la prétention d'assurance ne tombe pas dans la masse en faillite, mais devient partie du patrimoine du bénéficiaire. Les droits de gage de tiers sur la prétention d'assurance n'en sont toutefois pas touchés. La liquidation de ces droits de gage sur la prétention d'assurance du bénéficiaire envers l'assureur a lieu en dehors de la faillite (cf. ATF 105 III 122 consid. 8 p. 133 s.; Küng, Basler Kommentar, 2001, n° 10 ad art. 80 LCA).
En l'occurrence, les droits des recourantes découlant du contrat d'assurance n'ont pas été contestés, par la masse ou par un créancier du preneur en faillite, et ils n'ont dès lors pas été soumis à l'exécution forcée en faveur des créanciers de celui-ci. Cela n'a toutefois pas influé sur les droits de la banque en tant que créancière gagiste; elle a gardé son droit de gage sur les droits découlant de l'assurance et peut toujours s'en prévaloir.
3.2 En cas de mise en gage des prétentions d'assurance, le constituant, en tant qu'assuré, reste titulaire de la créance et continue d'exercer tous les droits et les pouvoirs qu'elle lui confère. Le créancier gagiste n'acquiert qu'un droit réel restreint sur les prétentions qui découlent du contrat d'assurance; sauf convention contraire, il n'est pas habilité à se faire verser directement le montant de la prestation d'assurance ou, le cas échéant, celui de la valeur de rachat (cf. ATF 128 III 366 consid. 2b p. 368).
En l'espèce, l'acte de nantissement du 8 avril 1991 ne cède pas à la banque le droit d'administrer la créance reçue en gage, de la dénoncer et d'en opérer le recouvrement.
A teneur de l'art. 906 al. 2 et 3 CC, applicable en cas de nantissement de droits découlant d'un contrat d'assurance de personnes (cf. art. 100 al. 1 LCA; ATF 45 II 250 consid. 2 p. 254), le débiteur, avisé du gage, ne peut s'acquitter entre les mains du propriétaire de la créance engagée ou du créancier gagiste qu'avec le consentement de l'autre intéressé; à défaut de ce consentement, il doit consigner. Cette règlementation sert à ce que le droit de gage sur la créance ne soit pas privé de sa fonction de garantie (cf. ATF 128 III 366 consid. 2b p. 369).
En l'occurrence, il n'y a pas eu de consentement des recourantes et de la banque. C'est donc à bon droit que l'assurance a consigné le montant litigieux. Elle s'est ainsi valablement libérée de son obligation. La demande des recourantes contre l'assurance est donc infondée.
3.3 Le montant consigné en vertu de l'obligation légale reste consigné tant qu'il n'est pas établi lequel des deux prétendants y a droit; il est libéré en faveur de celui qui prouve son meilleur droit (cf. Koller, Schweizerisches Obligationenrecht, Allgemeiner Teil, 3e éd. 2009, § 56 n° 153 p. 964 s.; Zobl, op. cit., n° 43 ad art. 906 CC; Oftinger/Bär, op. cit., n° 50 ad art. 906 CC).
En l'espèce, le montant a été consigné par l'assurance débitrice en exécution de la créance des recourantes grevée d'un droit de gage en faveur de la banque. En tant que créancier gagiste, la banque bénéficiait d'un droit préférentiel sur ce montant (cf. art. 891 al. 1 CC). C'est ainsi à bon droit que le montant consigné a été libéré en sa faveur.
4. Il résulte des considérants qui précèdent que le recours doit être rejeté. Compte tenu de l'issue du litige, les frais judiciaires et dépens - réduits en ce qui concerne l'assurance en considération de la relative brièveté de sa réponse - sont mis solidairement à la charge des recourantes, qui succombent (art. 66 al. 1 et 5 ainsi qu'art. 68 al. 1, 2 et 4 LTF; art. 4 et 8 al. 2 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 5'500 fr., sont mis à la charge des recourantes, solidairement entre elles.
3. Les recourantes, débitrices solidaires, verseront, à titre de dépens, 3'000 fr. à l'intimée Y._ et 6'500 fr. à l'intimée Z._ SA.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 11 février 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz