Faits:
A. Y._, née en 1936, était au bénéfice, en tout cas depuis août 1981, d'une assurance complémentaire pour hospitalisation en division demi-privée auprès de la caisse-maladie W._ Dès le 1er janvier 1996, cette assurance est devenue «A»; la prime mensuelle s'élevait à 146 fr.70 (groupe d'âge 50 ans).
Le 1er janvier 1997, la fusion des caisses-maladie W._ et Z._ a donné naissance à une nouvelle caisse-maladie, X._ (ci-après: la caisse-maladie ou l'assureur). A cette occasion, l'assurée a été incorporée dans l'assurance complémentaire d'hospitalisation demi-privée «B1» régie par la LCA (RS 221.229.1); en 1997, la prime mensuelle était de 282 fr.20.
Par lettre du 3 octobre 2003, Y._ a demandé à la caisse-maladie les raisons qui justifiaient chaque année une augmentation massive de la prime de l'assurance «B1». Elle relevait par ailleurs une différence de plus de 100 % entre la prime de l'assurance «A», à laquelle elle avait appartenu, et celle de «B1». Elle s'est plainte d'avoir été transférée dans «B1» sans information préalable, observant au passage que ce type d'assurance ne figurait dans aucune des brochures de l'assureur. L'assurée précisait encore que, selon des renseignements téléphoniques obtenus de l'Office fédéral des assurances privées, l'assureur n'incorporait plus de membres dans l'assurance «B1». Elle a sollicité son retour dans l'assurance «A» à partir de 2004.
Par courrier du 27 octobre 2003, la caisse-maladie a répondu que, lors de l'entrée en vigueur de la LAMal le 1er janvier 1996 qui a entraîné le passage des assurances complémentaires sous le régime de la LCA, l'assurée était couverte par l'assurance «A», qui fixait les primes en fonction de l'âge d'entrée sans tenir compte du sexe; après la fusion, tous les assurés ayant cette couverture d'assurance avaient été intégrés dans l'assurance «B1», qui préservait leurs droits acquis. L'assureur précisait que l'assurance complémentaire «C» était un nouveau produit offert depuis le 1er janvier 1997, dont les primes étaient fixées selon le groupe d'âge et le groupe de risque des assurés. En conclusion, comme l'assurée avait dépassé l'âge maximum d'admission pour une assurance complémentaire d'hospitalisation, l'assureur ne pouvait lui proposer aucun autre contrat dans ce secteur.
Le 11 octobre 2007, Y._ a demandé à l'assureur de lui accorder le droit de transfert de l'assurance «B1» à l'assurance «C» à partir du 1er janvier 2008; l'assurée invoquait l'art. 216 al. 8 de l'ordonnance du 9 novembre 2005 sur la surveillance des entreprises d'assurance privées (ordonnance sur la surveillance, OS; RS 961.011), aux termes duquel les assurés de portefeuilles d'assurance déjà fermés au moment de l'entrée en vigueur de l'ordonnance sur la surveillance peuvent obtenir le droit de passage selon l'art. 156 OS au plus tard deux ans après l'entrée en vigueur de ladite ordonnance. Le 29 octobre 2007, l'assureur a répondu qu'il ne gérait aucun portefeuille fermé au sens de l'art. 156 OS et que l'assurance «B1» était à disposition des assurés pour de nouveaux contrats, de sorte que l'assurée n'avait pas droit à un libre transfert.
B. Par acte du 25 février 2008, Y._ a ouvert action contre la caisse-maladie X._ devant le Tribunal cantonal des assurances sociales de la République et canton de Genève, concluant à son transfert dans l'assurance «C» avec effet rétroactif au 1er janvier 2008, ainsi qu'au remboursement de la part de prime payée en trop à partir du 1er janvier 2008.
La demanderesse alléguait qu'en janvier 1997, l'assureur avait opéré une différenciation dans le cadre de son assurance complémentaire d'hospitalisation, en prévoyant, d'une part, «C» pour les assurés sans risques et, d'autre part, «B1» pour les assurés avec risques, cette dernière assurance ayant été assortie d'une forte augmentation des primes. L'assurée aurait été transférée d'office dans l'assurance «B1» et subi ainsi chaque année une sévère majoration de sa prime, laquelle atteignait 636 fr. par mois en 2007, alors que la prime de l'assurance «C» était environ 50 % meilleur marché. Selon la demanderesse, l'assurance «B1» devait être considérée comme un portefeuille fermé au sens de l'art. 156 OS parce qu'elle ne figurait dans aucun prospectus ni publicité de la caisse-maladie, que les jeunes employés de l'assureur n'en connaissaient ni les primes, ni les prestations, que cette assurance n'était pas proposée sur le site Internet de la défenderesse et, enfin, que la comparaison des conditions supplémentaires d'assurance permettait de constater l'équivalence entre les produits «B» et «C».
La caisse-maladie a conclu au rejet de la demande. Elle a soutenu que l'assurance «B1» n'était pas un portefeuille fermé au sens de l'art. 156 OS, disposition dont elle contestait au demeurant la constitutionnalité.
Par ordonnance du 24 juillet 2008, l'autorité cantonale a invité la caisse-maladie à indiquer, d'une part, à quelle date elle avait conclu, pour la dernière fois, une assurance «B» et, d'autre part, combien de polices «B1» (division hospitalière demi-privée), «B2» (division hospitalière privée), «C» et de polices d'assurances équivalentes à «B» elle avait établies en 2007. La production d'extraits statistiques informatisés a également été requise à titre de preuve.
La caisse-maladie a répondu que les chiffres en question n'étaient pas directement disponibles sous la forme demandée et qu'ils nécessitaient des recoupements qui prendraient du temps. De plus, elle ne tenait pas à publier certains chiffres protégés par le secret des affaires, d'autant plus qu'ils ne seraient pas déterminants pour trancher le litige. Elle a requis de l'autorité cantonale de limiter son examen dans un premier temps à la constitutionnalité de l'art. 156 OS avant d'exiger la production de ces chiffres.
Par ordonnance du 18 septembre 2008, l'autorité cantonale a réitéré sa demande à la caisse-maladie, en attirant son attention sur son obligation de collaborer et sur les conséquences résultant de l'attitude d'une partie qui refuse de produire une pièce. Elle a averti l'assureur que s'il ne répondait pas aux questions posées, elle statuerait en l'état du dossier.
La caisse-maladie a maintenu sa position, tout en ajoutant qu'elle n'entendait pas se soustraire à son obligation de collaborer. Elle a précisé que les données requises, qui n'étaient pas publiées dans son rapport annuel, concernaient la marche des affaires et la stratégie de vente dans le domaine des assurances privées; elles ne devaient pas être disponibles pour le public et, par là-même, pour ses concurrents, car elles dépassaient le rapport entre assureur et assurés et pourraient permettre à un tiers d'adapter sa technique de vente.
Par arrêt sur partie et sur incident du 18 décembre 2008, l'autorité cantonale a constaté que l'art. 156 OS ne violait pas la Constitution fédérale, avant de confirmer ses ordonnances des 24 juillet et 18 septembre 2008 et d'inviter la caisse-maladie à y déférer. L'assureur a interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre cette décision. Par arrêt du 1er mai 2009, les recours ont été déclarés irrecevables, au motif que les conditions ouvrant exceptionnellement le recours contre des décisions incidentes n'étaient pas remplies; dans ce cadre, il a été relevé que la procédure cantonale prévoyait des règles afin de protéger, le cas échéant, les secrets d'affaires des parties (cause 4A_70/2009). Le dossier a été renvoyé au Tribunal des assurances sociales.
En réponse aux questions posées dans l'ordonnance du 24 juillet 2008, la caisse-maladie a informé l'autorité cantonale, le 22 juin 2009, que la dernière conclusion d'une assurance «B» remontait au 1er décembre 2007; elle a précisé ne pas avoir recherché si de telles polices avaient été conclues postérieurement au 31 décembre 2007, la procédure en cours portant sur un transfert au 1er janvier 2008, au motif que le portefeuille avait été fermé avant cette date. En ce qui concerne le nombre de polices «B1» et «B2» conclues en 2007, la caisse-maladie a affirmé avoir collecté les chiffres et les tenir à disposition. Invoquant la protection du secret des affaires, elle estimait toutefois que ces données méritaient une protection élargie à garantir par l'application de l'art. 45 de la loi genevoise sur la procédure administrative (LPA/GE; RSG E 5 10); elle était disposée à transmettre ces données dès que la protection qui lui était due lui aurait été formellement garantie. La caisse-maladie a également invoqué le secret d'affaires pour ce qui a trait au nombre de polices d'assurance vendues d'un produit correspondant à «B1». Elle a notamment conclu à ce qu'il soit constaté que les informations précitées bénéficiaient du secret des affaires et à ce qu'ordre lui soit donné de produire les informations en cause dans un délai à fixer dès l'entrée en force de la décision se prononçant sur le caractère secret des données.
Dans sa détermination du 15 septembre 2009, Y._ a allégué que le document produit à titre de démonstration de la conclusion d'une police «B1» en décembre 2007 était incompréhensible. Pour le surplus, elle a contesté que les données non produites par la caisse-maladie fussent couvertes par le secret des affaires. A son avis, l'attitude de l'assureur devait être considérée comme un refus de collaborer à l'établissement des faits pertinents.
Le Tribunal cantonal des assurances sociales a rendu son arrêt en date du 18 novembre 2009. Admettant l'action, il a ordonné à la caisse-maladie de transférer l'assurée dans l'assurance «C» avec effet rétroactif au 1er janvier 2008 et a condamné l'assureur à rembourser à Y._ la différence de prime payée en trop à partir de cette date. En substance, l'autorité cantonale a admis la constitutionnalité de l'art. 156 OS. Puis, elle a constaté que l'assureur refusait de collaborer à l'établissement des faits et en a déduit qu'elle pouvait statuer en l'état du dossier selon le degré de vraisemblance prépondérante. Enfin, elle a jugé que l'assurance «B1» constituait un portefeuille fermé, de sorte que, fondée sur l'art. 156 OS, l'assurée était en droit de demander son transfert dans un produit équivalent.
C. La caisse-maladie X._ interjette un recours en matière civile et un recours constitutionnel subsidiaire contre l'arrêt du 18 novembre 2009. Elle produit des pièces nouvelles sous pli fermé; dans son mémoire, elle allègue des faits nouveaux ressortant du «document secret» déposé.
Au fond, la recourante conclut à l'annulation de l'arrêt attaqué, puis, principalement, au renvoi de la cause à l'autorité cantonale et, subsidiairement, au rejet de la demande de l'assurée. Au niveau procédural, elle requiert que les pièces produites sous pli fermé bénéficient de la protection du secret des affaires et ne soient versées au dossier que dans leur teneur essentielle, à définir par ordonnance judiciaire, et avec stricte interdiction aux parties d'en faire usage en dehors de la présente procédure; elle demande en outre à ce que l'effet suspensif soit accordé au recours et à ce qu'un second échange d'écritures soit ordonné à réception de la réponse.
L'intimée a déclaré ne pas s'opposer à la requête d'effet suspensif. La Présidente de la cour de céans l'a dès lors accordé par ordonnance du 25 janvier 2010.
A la suite de l'invitation à déposer une réponse, l'intimée a requis la copie des pièces produites par la recourante. L'ordonnance fixant un délai pour le dépôt de la réponse a alors été annulée dans l'attente d'une décision sur la protection du secret d'affaires invoqué par la recourante. Par la suite, il a été renoncé à requérir une réponse.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1 p. 3, 329 consid. 1 p. 331).
1.1 L'assurance complémentaire pour hospitalisation en division demi-privée est une assurance complémentaire à l'assurance obligatoire des soins. Elle est soumise à la LCA (art. 12 al. 3 LAMal). La contestation opposant les parties est donc de nature civile (cf. art. 72 al. 1 LTF; ATF 133 III 439 consid. 2.1 p. 441 s. et l'arrêt cité). Il s'agit en outre d'une affaire pécuniaire dès lors que le litige porte sur la possibilité pour l'assurée de conclure une assurance complémentaire moins onéreuse.
En principe, la décision rendue dans une telle contestation peut être attaquée par un recours en matière civile pour autant que la valeur litigieuse de 30'000 fr. soit atteinte (art. 74 al. 1 let. b LTF). La valeur litigieuse est déterminée par les conclusions restées contestées devant l'autorité précédente (art. 51 al. 1 let. a LTF). Si les conclusions ne tendent pas au paiement d'une somme d'argent déterminée, la valeur litigieuse fera l'objet d'une appréciation (art. 51 al. 2 LTF). En l'espèce, l'autorité cantonale n'a pas mentionné la valeur litigieuse bien que la loi lui en fasse obligation (cf. art. 112 al. 1 let. d LTF). Selon la recourante, la différence entre la prime annuelle de l'assurance actuelle de l'intimée et celle de l'assurance dans laquelle l'assurée demande à être transférée était de 2'466 fr. en 2008; à ce moment-là, l'intimée était âgée de 72 ans et son espérance de vie moyenne était de 18 ans (Stauffer/Schaetzle, Tables de capitalisation, 5e éd. 2001, tableau n° 42). La valeur litigieuse peut ainsi être fixée à 44'388 fr. (18 x 2'466 fr.) si bien que le recours en matière civile est ouvert ratione valoris.
1.2 L'arrêt attaqué termine la cause (cf. art. 90 LTF). L'exigence légale selon laquelle la dernière instance cantonale statue sur recours n'est pas encore en vigueur (cf. art. 75 al. 2 et art. 130 al. 2 LTF). Le fait que le Tribunal cantonal des assurances sociales a statué en instance unique n'exclut donc pas le recours. Le recours en matière civile est ainsi recevable. Il s'ensuit l'irrecevabilité du recours constitutionnel subsidiaire (art. 113 LTF).
2. A titre liminaire, il y a lieu de traiter la requête incidente de la recourante relative aux nouvelles pièces produites en instance fédérale. Il s'agit de décider si l'intimée peut en prendre connaissance et, dans la négative, quel contenu essentiel lui en sera communiqué (cf. art. 56 al. 2 et 3 LTF). Mais d'abord, il convient d'examiner si la production de ces pièces est admissible à ce stade. En effet, si tel n'est pas le cas, les documents en cause doivent être écartés du dossier et la question de la protection du secret d'affaires de la recourante ne se pose plus.
2.1 Dans un recours au Tribunal fédéral, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). L'exclusion des faits et moyens de preuve nouveaux est la règle; en tant que cour suprême, le Tribunal fédéral est juge du droit, et non juge du fait. La règle connaît une exception lorsque, selon les textes allemand et italien plus précis que la formulation française sur ce point, la décision de l'autorité précédente est le motif pour présenter de nouveaux faits ou moyens de preuve (der Entscheid der Vorinstanz dazu Anlass gibt; se ne dà motivo la decisione dell'autorità inferiore) ou, en d'autres termes, lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve. Il peut s'agir de faits et moyens de preuve qui se rapportent à la régularité de la procédure devant l'instance précédente (par exemple une violation du droit d'être entendu lors de l'instruction) ou qui sont déterminants pour la recevabilité du recours au Tribunal fédéral (par exemple la date de notification de la décision attaquée) ou encore qui sont propres à contrer une argumentation de l'autorité précédente objectivement imprévisible pour les parties avant la réception de la décision (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 4137 ch. 4.1.4.3). En revanche, le recourant ne peut pas alléguer des faits ou produire des moyens de preuve nouveaux qu'il a omis d'alléguer ou de produire devant l'autorité précédente; pour contester l'état de fait retenu par l'autorité précédente, il ne saurait se fonder sur des faits ou moyens de preuve nouveaux qu'il était en mesure de présenter à cette autorité et dont il devait discerner la pertinence éventuelle (arrêt 4A_36/2008 du 18 février 2008 consid. 4.1). La possibilité de présenter des faits ou des moyens de preuve nouveaux en instance de recours fédérale est exceptionnelle et ne sert pas à corriger des omissions antérieures.
2.2 Selon le recours, les pièces nouvelles produites contiennent une partie des informations que l'autorité cantonale a requises par ordonnance du 24 juillet 2008, confirmée par ordonnance du 18 septembre 2008 et par arrêt du 18 décembre 2008. Le 22 juin 2009, la recourante a déclaré à l'autorité cantonale être disposée à transmettre les informations dès que la protection du secret d'affaires lui serait formellement garantie. Il s'agit donc manifestement de faits et moyens de preuve que la recourante pouvait présenter à l'autorité cantonale et dont elle devait discerner la pertinence pour le sort de la cause. Leur production dans la présente procédure fédérale n'est dès lors pas admissible.
Cela vaut également pour les informations relatives aux affiliations postérieures à 2007. L'autorité cantonale avait demandé à quelle date remontait la dernière conclusion d'une police d'assurance «B», sans fixer de limite dans le temps. C'est la recourante qui a décidé que celles postérieures à fin 2007 n'étaient pas pertinentes. Or, il est manifeste que, pour juger si cette assurance relève d'un portefeuille fermé, l'existence ou le défaut d'affiliations après cette date peuvent jouer un rôle. La recourante ne saurait prendre prétexte de sa fausse conception juridique pour se prévaloir d'une argumentation imprévisible de l'autorité cantonale.
La recourante soutient également que la cour cantonale l'a empêchée de produire les nouvelles pièces en violation de son droit d'être entendue. Pour démontrer la justesse d'une telle critique, l'auteur du recours peut présenter des faits ou moyens de preuve nouveaux susceptibles de prouver la violation du droit d'être entendu; en revanche, il ne peut pas en profiter pour compléter les faits de la cause en introduisant en instance fédérale les éléments qu'il prétend avoir été empêché de produire en instance cantonale. Si le grief tiré de la violation du droit d'être entendu se révélait fondé, l'arrêt attaqué serait annulé et la cause renvoyée à l'autorité précédente auprès de laquelle les pièces pourraient alors être déposées.
2.3 En conclusion, les conditions pour la présentation de nouveaux faits et moyens de preuve dans la procédure de recours fédérale ne sont pas remplies en l'espèce. Partant, il ne sera pas tenu compte des faits nouvellement allégués et les pièces produites sous pli fermé seront écartées du dossier. Par la même occasion, les mesures de protection requises par la recourante deviennent sans objet.
3. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral n'entre pas en matière sur la violation d'un droit de rang constitutionnel ou sur une question afférente au droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière détaillée par la partie recourante (art. 106 al. 2 LTF). Pour ces griefs, l'acte de recours doit, sous peine d'irrecevabilité, contenir nécessairement un exposé succinct des droits ou principes constitutionnels violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (ATF 134 I 83 consid. 3.2 p. 88 et les arrêts cités).
Pour le reste, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments soulevés dans le recours ni par la motivation retenue dans la décision déférée; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400; 134 III 102 consid. 1.1 p. 104). Cependant, compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 134 III 102 consid. 1.1 p. 105).
Par ailleurs, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations de l'autorité précédente ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401; 135 II 145 consid. 8.1 p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
4. 4.1 L'arrêt attaqué est fondé sur l'art. 156 OS relatif aux portefeuilles fermés. L'alinéa 1 de cette disposition prévoit que, si une entreprise d'assurance n'inclut plus de contrats d'assurance dans un portefeuille (portefeuille fermé), les preneurs d'assurance de ce portefeuille ont le droit de conclure, en remplacement du contrat d'assurance en cours, un contrat aussi équivalent que possible intégré dans un portefeuille ouvert de l'entreprise d'assurance ou d'une entreprise d'assurance appartenant au même groupe d'assurance, pour autant que l'entreprise d'assurance ou l'entreprise du groupe exploite un tel portefeuille ouvert. L'art. 156 al. 3 OS précise que l'âge et l'état de santé du preneur d'assurance lors de la conclusion du contrat en cours sont déterminants pour le calcul de la prime lors du passage au nouveau contrat.
Le Conseil fédéral a adopté l'art. 156 OS en vertu de la délégation prévue à l'art. 31 de la loi fédérale du 17 décembre 2004 sur la surveillance des entreprises d'assurance (loi sur la surveillance des assurances, LSA; RS 961.01), lequel l'autorise à édicter des restrictions à la pratique de certaines branches d'assurance afin de protéger les assurés. Dans le domaine de l'assurance-maladie complémentaire à l'assurance-maladie sociale, l'art. 31 LSA devait notamment permettre au Conseil fédéral d'édicter des dispositions applicables aux groupes d'âge élevé afin de protéger les assurés les plus âgés. Il devait également constituer la base pour des dispositions régissant la relation entre entreprise d'assurance et assurés (Message du 9 mai 2003 concernant une loi sur la surveillance des entreprises d'assurance et la modification de la LCA, FF 2003 3386 s. ch. 2.1.2.3.6). L'art. 31 LSA a été adopté sans discussion par les deux Chambres (BO CE 2003 1228; BO CN 2004 391).
Cette disposition légale correspond textuellement à l'art. 7 al. 1 2ème phrase de l'ancienne loi fédérale du 23 juin 1978 sur la surveillance des institutions d'assurance privées (aLSA; RO 1978 1836) dans sa teneur adoptée le 20 mars 1992 (RO 1992 2373). La délégation de compétence prévue à l'art. 7 aLSA devait permettre au Conseil fédéral d'édicter des mesures protectrices notamment en matière d'assurance-maladie (Message du 14 août 1991 relatif notamment à une loi fédérale sur l'assurance directe autre que l'assurance sur la vie, FF 1991 IV 21 ch. 237.2).
L'art. 31 LSA doit être compris en relation avec l'art. 1 al. 2 et avec l'art. 46 al. 1 let. f LSA. La première disposition définit la protection des assurés contre les abus comme l'un des buts de la LSA. La seconde norme précise que l'une des tâches de la surveillance est de protéger les assurés contre les abus commis par des entreprises d'assurance ou des intermédiaires (cf. Weber/Umbach, Versicherungsaufsichtsrecht, 2006, n. 149 ss p. 133 ss).
Dans le cadre de la révision de la LCA en cours, il est prévu un nouvel art. 116 qui reprend pour l'essentiel la réglementation de l'art. 156 OS, sauf à donner le droit à l'assuré de conclure un nouveau contrat déjà lorsque l'entreprise d'assurance «n'affecte généralement plus de contrats individuels à un portefeuille d'assurance». Le rapport explicatif du 24 février 2009 décrit la situation à l'origine de ce projet de disposition de la manière suivante: Des entreprises d'assurance offrent parfois à des preneurs d'assurance, jeunes et en bonne santé, de nouveaux produits assortis de primes avantageuses ressemblant largement aux produits existants, tandis que les personnes déjà assurées qui présentent un risque de maladie plus élevé ne se voient pas proposer de tels produits et restent dans leur portefeuille actuel, qui par conséquent n'est plus élargi (portefeuille fermé). Si l'entreprise d'assurance n'ajoute plus de bons risques dans le portefeuille, les primes risquent d'augmenter massivement, rendant ainsi l'assurance complémentaire hors de prix pour de nombreux preneurs d'assurance, alors même que ceux-ci se sont acquittés de leurs primes pendant de nombreuses années. Le but est d'éviter de telles conséquences en octroyant au preneur d'assurance d'un portefeuille fermé le droit de conclure, en lieu et place du contrat précédent, un contrat aussi équivalent que possible dans un portefeuille ouvert de l'entreprise d'assurance ou d'une entreprise d'assurance appartenant au même groupe (Département fédéral des finances, Rapport explicatif relatif au projet de révision de la LCA, nouvelle version du 24 février 2009, ch. 2.2.27; cf. Weber/Umbach, op. cit., n. 54 s. p. 165 s.).
4.2 La recourante conteste la légalité et la constitutionnalité de l'art. 156 OS. Elle soutient que cette disposition est contraire à l'art. 31 LSA et invoque par ailleurs les principes constitutionnels de la liberté économique (art. 27 Cst.), de la légalité (art. 36 Cst.), de la proportionnalité (art. 5 al. 2 Cst.), de l'égalité de traitement (art. 8 Cst.) et de la bonne foi (art. 9 Cst.).
Le Tribunal fédéral peut examiner à titre préjudiciel la légalité et la constitutionnalité d'ordonnances du Conseil fédéral. Lorsqu'il se prononce sur une ordonnance fondée sur une délégation législative, il examine si elle reste dans les limites des pouvoirs conférés par la loi au Conseil fédéral, mais il ne peut pas contrôler si la délégation elle-même est admissible. Si l'ordonnance est conforme à la loi, il examine sa constitutionnalité, à moins que la loi permette d'y déroger. Lorsque la délégation accorde au Conseil fédéral un large pouvoir d'appréciation pour réglementer la matière par ordonnance, le Tribunal fédéral se limite à contrôler si l'ordonnance est contraire à la loi ou à la Constitution; il n'est pas habilité à substituer sa propre appréciation à celle du Conseil fédéral (ATF 131 II 562 consid. 3.2 p. 566; 130 I 26 consid. 2.2.1 p. 32; 128 IV 177 consid. 2.1 p. 180; 126 III 36 consid. 2b/bb p. 39).
4.3 La recourante prétend tout d'abord que l'art. 156 OS sort du cadre de la délégation prévue par l'art. 31 LSA. Par ailleurs, cette disposition aurait été conçue comme une norme de protection tendant à parer aux dérives éventuelles liées à la suppression du contrôle systématique préalable des produits. Or, ce contrôle aurait été finalement maintenu sous son ancienne forme pour les assurances-maladie complémentaires (art. 4 al. 2 let. r LSA), de sorte que l'art. 31 LSA serait obsolète pour ce domaine.
4.3.1 L'art. 156 OS tend à protéger les preneurs d'assurances complémentaires âgés. Il s'agit d'éviter que ces assurés-là soient poussés à résilier leur assurance complémentaire à cause d'une augmentation massive des primes due au mécanisme du portefeuille fermé. Plus généralement, l'art. 156 OS vise à empêcher que les entreprises d'assurance puissent, par un système de portefeuilles fermés successifs (splitting), acquérir les bons risques, puis se débarrasser ultérieurement de ces assurés lorsque, de par leur âge, ils sont devenus de mauvais risques. Dans cette mesure, l'art. 156 OS respecte pleinement tant la lettre de l'art. 31 LSA que le but précisé dans le Message et nullement remis en cause lors des débats parlementaires (cf. consid. 4.1 supra).
4.3.2 Il est exact que le projet du Conseil fédéral prévoyait d'abandonner le contrôle systématique préalable des produits et que le parlement ne l'a pas entièrement suivi sur ce point. Selon une disposition introduite lors des débats parlementaires, les entreprises d'assurance doivent présenter un plan d'exploitation contenant également les tarifs et les conditions générales appliquées en Suisse pour l'assurance de l'ensemble des risques dans la prévoyance sociale et dans l'assurance complémentaire à l'assurance-maladie sociale (art. 4 al. 2 let. r LSA). Le but de cette norme était essentiellement de pouvoir continuer à procéder à un contrôle préalable des tarifs (cf. BO CE 2003 1225 s.; BO CN 2004 382 s.; cf. Weber/Umbach, op. cit., n. 47 ss p. 163 ss). Lors de la discussion sur le maintien du contrôle préventif, le représentant du gouvernement a indiqué expressément que, nonobstant la décision du parlement, le Conseil fédéral fixerait dans son ordonnance des conditions cadres claires, notamment pour les conditions d'assurance; cette déclaration n'a pas suscité de réaction (BO CN 2004 382).
Ceci posé, la critique de la recourante n'est pas fondée. L'art. 31 LSA reprend simplement la délégation de compétence déjà prévue à l'art. 7 al. 1 2ème phrase aLSA. Cette dernière disposition avait été adoptée à une époque où le contrôle préalable existait; la délégation qu'elle instituait allait donc nécessairement au-delà du cadre du contrôle préalable, y compris dans le domaine de l'assurance-maladie. Or, en adoptant l'art. 31 LSA, le législateur n'entendait à l'évidence pas restreindre la portée de cette délégation. Le maintien ultérieur du contrôle préventif par le parlement n'était dès lors pas en soi propre à priver la délégation de compétence de toute portée en matière d'assurance-maladie complémentaire. En outre, il n'était manifestement pas dans l'intention du parlement d'être plus restrictif et d'exclure les assurances complémentaires du champ d'application de l'art. 31 LSA. La volonté clairement affichée de protéger les assurés et le défaut de toute réaction, lors de la discussion tant de l'art. 4 LSA que de l'art. 31 LSA et après l'intention exprimée par le représentant du gouvernement d'user le moment venu de la compétence donnée par l'art. 31 LSA, ne peuvent être interprétés que comme un acquiescement tacite du législateur. Que le Conseil fédéral envisage aujourd'hui d'inscrire la règle de l'art. 156 OS dans la LCA ne change rien à cet égard.
4.4 La recourante soutient que l'art. 156 OS contraint les entreprises d'assurance à passer des contrats contre leur gré en matière d'assurance-maladie complémentaire et viole ainsi leur liberté contractuelle, garantie par le principe constitutionnel de la liberté économique (art. 27 Cst.).
4.4.1 L'art. 27 Cst. garantit la liberté économique qui comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice. Cette liberté protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu (ATF 134 I 214 consid. 3 p. 215 s. et les arrêts cités). La garantie de la liberté contractuelle, consacrée explicitement aux art. 1er et 19 CO, fait partie intégrante de l'aspect constitutif de la liberté économique (ATF 131 I 333 consid. 4 p. 339).
Une restriction à une liberté fondamentale est admissible si elle repose sur une base légale - qui, en cas d'atteinte grave, doit être une loi au sens formel -, si elle est justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui et si elle est proportionnée au but visé (art. 36 al. 1-3 Cst.; ATF 134 I 214 consid. 5.4 p. 217; 133 I 27 consid. 3.1 p. 28). Lorsque la restriction n'est pas grave, la base légale peut se trouver dans des actes de rang infra-légal ou dans une clause générale, ce que le Tribunal fédéral examine sous l'angle restreint de l'arbitraire. Pour le surplus, le Tribunal fédéral vérifie librement si les exigences de l'intérêt public et de la proportionnalité sont respectées (ATF 131 I 333 consid. 4 p. 339 s.; 129 I 173 consid. 2.2 p. 177).
4.4.2 En prétendant que l'art. 156 OS oblige les entreprises d'assurance à conclure des contrats contre leur gré, la recourante présente les choses de manière très réductrice. En effet, l'assureur n'est astreint ni à conclure des contrats avec de nouveaux assurés, ni à accorder aux assurés actuels une couverture d'assurance fondamentalement différente. L'art. 156 OS n'impose pas de nouvelle relation contractuelle à l'entreprise d'assurance; le cas échéant, il l'oblige uniquement à corriger une détérioration de la situation contractuelle des assurés actuels au niveau des primes, péjoration que l'assureur a lui-même provoquée. Ainsi, l'art. 156 OS tend essentiellement à limiter la possibilité des entreprises d'assurance d'influer sur des relations contractuelles existantes au détriment de leurs assurés par le système du portefeuille fermé; l'obligation de conclure un nouveau contrat similaire au contrat actuel n'en est que le corollaire. En outre, la faculté des entreprises d'assurance de conclure des assurances complémentaires n'est nullement touchée par la disposition critiquée; les assureurs sont uniquement limités dans leur possibilité d'avantager ou de désavantager certaines catégories d'assurés par le biais des portefeuilles fermés. La restriction à la liberté contractuelle n'apparaît ainsi pas grave, de sorte qu'elle peut être instituée par une ordonnance du Conseil fédéral.
4.4.3 La restriction en cause répond en outre à l'intérêt public, lequel commande assurément que les assurances-maladie complémentaires ne soient pas rendues inabordables pour la plupart des assurés âgés.
A cet égard, la coexistence entre assurance-maladie sociale et assurance complémentaire privée suppose que la seconde, bien que régie par les lois du marché, ne soit pas, dans les faits, une assurance essentiellement pour personnes jeunes et en bonne santé. L'assurance complémentaire n'est pas simplement une assurance destinée à couvrir des besoins de luxe (cf. Raymond Spira, Le nouveau régime de l'assurance-maladie complémentaire, RSA 1995 p. 199). Elle offre des prestations en matière de santé dont les assurés doivent légitimement pouvoir continuer à bénéficier lorsqu'ils avancent en âge. La santé n'est pas un bien comme un autre et il ne saurait être fait abstraction de toute considération de politique sociale dans ce domaine.
4.4.4 Pour être conforme au principe de la proportionnalité, une restriction d'un droit fondamental doit être apte à atteindre le but visé, lequel ne peut pas être atteint par une mesure moins incisive; il faut en outre qu'il existe un rapport raisonnable entre les effets de la mesure sur la situation de la personne visée et le résultat escompté du point de vue de l'intérêt public (ATF 134 I 214 consid. 5.7 p. 218; 132 I 229 consid. 11.3 p. 246; 129 I 12 consid. 9.1 p. 24).
A cet égard, la règle de l'art. 156 OS est apte à atteindre le but visé, soit la protection des assurés âgés au bénéfice d'une assurance-maladie complémentaire contre le risque de devoir sortir d'une assurance devenue trop onéreuse. En outre, on ne voit pas comment ce but pourrait être réalisé par une mesure moins contraignante que la possibilité offerte à l'assuré de passer d'une assurance dans un portefeuille fermé à une assurance équivalente dans un portefeuille ouvert du même assureur ou du même groupe d'assureurs. Contrairement à ce que la recourante soutient, le contrôle préalable des tarifs ne suffit pas à préserver les assurés des conséquences liées au système du portefeuille fermé; le présent litige et le projet de révision de la LCA le démontrent d'ailleurs si nécessaire.
4.4.5 En résumé, la restriction à la liberté contractuelle apportée par l'art. 156 OS repose sur une base légale suffisante, est justifiée par un intérêt public et respecte le principe de la proportionnalité.
4.5 Selon la recourante, les mesures envisagées par l'art. 156 OS sont source d'inégalité de traitement (art. 8 Cst.), car elles faussent la libre concurrence en imposant des restrictions à certains assureurs uniquement.
Cette critique est mal fondée. En effet, l'art. 156 OS ne crée pas d'inégalité de traitement entre les entreprises d'assurance qui offrent plusieurs produits similaires et celles qui ne le font pas. Dès lors que ces dernières n'ont qu'un seul produit, tous les assurés bénéficient de la même assurance. Si ce portefeuille est fermé sans qu'un nouveau portefeuille similaire ne soit ouvert et que l'entreprise d'assurance renonce ainsi à conclure de nouveaux contrats - ce qu'elle est libre de faire -, tous ses assurés restent logés à la même enseigne. Le problème à la base de la réglementation de l'art. 156 OS ne se pose tout simplement pas.
4.6 La recourante fait valoir également que l'art. 156 OS viole le principe de la bonne foi (art. 9 Cst.) et l'interdiction de la rétroactivité des normes. La disposition incriminée restreindrait, notamment par une augmentation des primes due à la péjoration de la structure de risque, les droits de l'ensemble des assurés, y compris de ceux qui ont conclu une assurance complémentaire avant l'entrée en vigueur de l'art. 156 OS et qui pouvaient compter sur le fait que les règles ne changeraient pas.
Entré en vigueur le 1er janvier 2006, l'art. 156 OS n'a pas d'effet rétroactif. Il ne donne pas le droit au preneur d'assurance d'un portefeuille fermé de demander à être intégré dans un portefeuille ouvert à une date antérieure au 1er janvier 2006. Il ne rétroagit donc pas non plus sur le niveau des primes des autres assurés pour la période antérieure au 1er janvier 2006; il est uniquement susceptible d'influer sur les primes postérieures à son entrée en vigueur.
Pour le reste, l'art. 156 OS veut faire obstacle à un système par lequel l'entreprise d'assurance désavantage les assurés âgés. On ne discerne pas en quoi la bonne foi ou, pour reprendre les termes de la recourante, la confiance que les citoyens peuvent mettre en leurs autorités, postulerait que le législateur doit garantir à l'entreprise d'assurance de pouvoir continuer indéfiniment à défavoriser ses assurés âgés et aux autres assurés d'en profiter. Les primes favorables offertes à certains assurés grâce au mécanisme du portefeuille fermé ne sauraient en elles-mêmes justifier ce système. Une éventuelle augmentation de prime pour les assurés en question est une conséquence logique de la règle de l'art. 156 OS. Si de telles majorations contreviennent à des engagements pris par l'entreprise d'assurance, il appartient à cette dernière, et non aux assurés prétérités par le système du portefeuille fermé, d'en supporter les conséquences.
4.7 Sur le vu de ce qui précède, il convient, à l'instar de la cour cantonale, de reconnaître la légalité et la constitutionnalité de l'art. 156 OS.
5. Invoquant l'art. 29 al. 2 Cst., la recourante se plaint également d'une violation de son droit d'être entendue, au motif que l'instruction de la cause aurait été interrompue abruptement à un moment où elle offrait de produire les pièces demandées en vue d'examiner si le contrat d'assurance de l'intimée relevait d'un portefeuille fermé. La recourante critique le fait que l'autorité cantonale n'a pas rendu la décision incidente requise à propos du secret des affaires. Elle fait état d'une atteinte à son droit à bénéficier d'une procédure équitable dès lors que ses conclusions, clairement formulées et dûment motivées, ont été purement et simplement ignorées.
5.1 Tel qu'il est garanti à l'art. 29 al. 2 Cst., le droit d'être entendu, comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves, d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 133 I 270 consid. 3.1 p. 277; 129 II 497 consid. 2.2 p. 504 s.; 127 I 54 consid. 2b p. 56; 124 I 48 consid. 3a p. 51 et les arrêts cités).
5.2 Par ordonnances de l'autorité cantonale des 24 juillet et 18 septembre 2008 et par jugement du 18 décembre 2008, la recourante a été invitée à produire les pièces litigieuses et rendue attentive aux conséquences d'un refus. Dans l'arrêt de la cour de céans du 1er mai 2009, il a été précisé que la recourante ne risquait pas de dommage irréparable en produisant les pièces requises dès lors que le droit cantonal prévoyait des règles pour protéger le secret d'affaires; en conséquence, le recours contre l'arrêt du 18 décembre 2008 ordonnant notamment la production des pièces a été déclaré irrecevable. Le 22 juin 2009, la recourante a écrit à l'autorité cantonale qu'elle était prête à fournir les pièces en question, exigeant toutefois une décision incidente préalable lui garantissant formellement la protection du secret d'affaires avant de s'exécuter.
Il s'ensuit que la recourante a non seulement eu la possibilité de produire les pièces litigieuses, mais qu'elle a même été formellement invitée à les produire, et cela à trois reprises. Son droit de produire des preuves pertinentes a été respecté.
Au surplus, la recourante affirme, sans autre démonstration, que le droit de procédure cantonal garantit le prononcé d'une décision incidente au sujet de la protection du secret des affaires. Cette critique ne concerne pas le droit (fédéral) d'être entendu, mais l'application du droit cantonal que le Tribunal fédéral peut examiner uniquement sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire (ATF 133 III 462 consid. 2.3 p. 466). Or, la recourante n'invoque pas un tel grief et, au demeurant, ne motive pas sa critique. Il n'y a dès lors pas à entrer en matière.
En tout état de cause, on ne voit guère comment le juge pourrait déterminer si un moyen de preuve est couvert par le secret d'affaires avant d'en avoir pris connaissance. Pour le surplus, la recourante ne démontre pas en quoi le droit d'être entendu imposerait au juge de statuer sur une requête que le destinataire de ses ordonnances formule comme condition pour se soumettre auxdites décisions ou, en d'autres termes, le contraindrait d'entrer en matière sur des tentatives de marchandage relatives à l'exécution de décisions qu'il a rendues.
En conclusion, le moyen tiré d'une violation du droit d'être entendu est mal fondé pour autant qu'il soit recevable.
6. 6.1 Dans une argumentation confuse, la recourante se plaint d'arbitraire dans l'établissement des faits, notamment dans la mesure où l'autorité cantonale a retenu que l'assurance-maladie complémentaire de l'intimée faisait partie d'un portefeuille fermé. Elle reproche également à la cour cantonale d'avoir violé l'art. 156 OS en rangeant l'assurance en question dans les portefeuilles fermés.
6.2 Le juge apprécie librement les preuves (art. 85 al. 2 LSA). L'intimée supportait le fardeau de la preuve du fait que le portefeuille d'assurance auquel elle appartenait était fermé (art. 8 CC). Cependant, seule la recourante disposait des renseignements et documents nécessaires pour juger si l'assurance de l'intimée faisait partie d'un portefeuille fermé. Se fondant sur le droit de procédure cantonal (art. 24 al. 1 LPA/GE), l'autorité cantonale a invité formellement la recourante à fournir ces éléments. L'assureur n'a pas donné suite. Dans ces circonstances, il n'y avait aucun arbitraire à apprécier ce refus de collaborer en défaveur de la recourante et à limiter les exigences de preuve à la vraisemblance prépondérante.
Sur le fond, la conclusion de la cour cantonale, qualifiant l'assurance complémentaire actuelle de l'intimée de portefeuille fermé, est tout à fait défendable sur le vu des faits constatés dans la décision entreprise. Il peut par conséquent être renvoyé au considérant 11 de l'arrêt attaqué (cf. art. 109 al. 3 2ème phrase LTF par analogie; Bernard Corboz, in Commentaire de la LTF, 2009, n° 33 ad art. 109).
Pour le reste, le moyen tiré d'une violation de l'art. 156 OS se fonde essentiellement sur des faits qui n'ont pas été constatés par l'autorité cantonale et sur de nouvelles pièces, ainsi que sur des faits que la recourante se réserve d'alléguer ultérieurement, une fois qu'une décision quant au caractère protégé de ces données aura été rendue. Comme déjà relevé (consid. 2.3 supra), un tel grief est irrecevable (cf. art. 99 al. 1 et art. 105 al. 1 LTF).
7. 7.1 En dernier lieu, la recourante conteste la mise à sa charge d'un émolument pour défaut de collaboration. Elle invoque l'art. 85 al. 3 LSA, alors que l'autorité cantonale s'est fondée sur l'art. 89 H al. 1 LPA/GE, qui autorise le juge à mettre les débours et un émolument à la charge de la partie qui agit de manière téméraire ou témoigne de légèreté.
7.2 Comme la recourante le relève à juste titre, la question est régie par le droit fédéral. En effet, l'art. 85 al. 3 LSA prévoit que, dans les contestations relatives aux assurances complémentaires à l'assurance-maladie sociale, les parties ne supportent en principe pas de frais de procédure, mais que le juge peut mettre tout ou partie de ces frais à la charge de la partie téméraire. Sur le fond, cette règle correspond toutefois à la disposition cantonale appliquée par l'autorité précédente.
La recourante fait valoir qu'elle n'a pas à supporter de frais parce que le jugement attaqué souffre de multiples défauts et ne peut pas être maintenu. Or, comme on l'a vu, cette critique n'est pas fondée. La recourante ne fournit aucune autre argumentation. En particulier, elle n'explique pas pourquoi la mise de frais à sa charge ensuite du jugement tel que rendu par l'autorité cantonale serait contraire à l'art. 85 al. 3 LSA. Partant, le grief est irrecevable.
8. Sur le vu de ce qui précède, le recours constitutionnel subsidiaire est irrecevable et le recours en matière civile doit être rejeté dans la mesure de sa recevabilité.
9. La recourante, qui succombe, supportera les frais judiciaires (art. 66 LTF). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à déposer une réponse.
Par ces motifs, le Tribunal fédéral prononce:
1. La requête visant au prononcé d'une décision incidente au sens de l'art. 56 al. 2 et 3 LTF est rejetée.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Le recours en matière civile est rejeté dans la mesure où il est recevable.
4. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge de la recourante.
5. Il n'est pas alloué de dépens.
6. Le présent arrêt est communiqué aux parties et au Tribunal cantonal des assurances sociales de la République et canton de Genève, Chambre 5.
Lausanne, le 15 mars 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Godat Zimmermann