Faits:
A. X._ (ci-après: l'assurée), née en 1936, a été couverte par la caisse-maladie B._ en assurance-maladie de base pour les soins médicaux et en assurance complémentaire pour hospitalisation en division demi-privée, en tout cas depuis août 1981. Dès le 1er janvier 1996, l'assurance complémentaire d'hospitalisation en division demi-privée (groupe d'âge 50 ans) de B._ est devenue "Hospital Plus" moyennant une prime mensuelle de 146 fr. 70. Le 1er janvier 1997, la fusion des caisses-maladie B._ et C._ a généré une nouvelle caisse-maladie, A._ SA (ci-après: A._), et l'assurée a été transférée dans l'assurance complémentaire d'hospitalisation demi-privée "Hospital Plus Classica" régie par la loi fédérale du 2 avril 1908 sur le contrat d'assurance (loi sur le contrat d'assurance, LCA; RS 221.229.1) moyennant une prime mensuelle de 282 fr. 20 pour l'année 1997.
Dans une lettre du 3 octobre 2003 à A._, l'assurée a demandé pourquoi elle devait subir chaque année une augmentation massive de prime pour l'assurance "Plus Classica". Elle a relevé qu'il y avait une différence de prime de plus de 100 % entre l'assurance "Plus", à laquelle elle avait appartenu depuis 1981, et "Plus Classica", alors qu'elle n'avait pas eu recours à des prestations depuis des années. Elle s'est plainte d'avoir été transférée dans "Classica" sans information préalable, et elle a observé que ce type d'assurance ne figurait dans aucune des brochures de A._. Elle a précisé que, selon des renseignements téléphoniques obtenus de l'Office fédéral des assurances privées, A._ n'incorporait plus de membres dans l'assurance "Classica". Elle a demandé à être transférée à nouveau dans l'assurance "Plus" à partir de 2004.
Par courrier du 27 octobre 2003, A._ a répondu à l'assurée que lors de l'entrée en vigueur de la nouvelle loi fédérale du 18 mars 1994 sur l'assurance-maladie (LAMal; RS 832.10) et le transfert consécutif des assurances complémentaires sous le régime de la LCA, elle était couverte par l'assurance "Hospital Plus" qui fixait les primes en fonction de l'âge d'entrée sans tenir compte du sexe et que tous les assurés ayant cette couverture d'assurance avaient été incorporés dans l'assurance "Hospital Plus Classica" qui préservait leurs droits acquis. Elle a précisé que l'assurance complémentaire "Hospital Plus Bonus" était un nouveau produit offert depuis le 1er janvier 1997 dont les primes étaient fixées selon le groupe d'âge et le groupe de risque des assurés. Elle a expliqué que pour éviter à ses assurés de remplir un questionnaire de santé, lors de l'introduction de cette assurance, elle avait procédé à un examen statistique automatique des risques sur la base des décomptes de prestations informatisés en tenant compte des mêmes critères que lors de l'examen du risque individuel pour des nouveaux assurés, à savoir l'âge, les traitements antérieurs, le pronostic futur. Sur la base de ces éléments, notamment en raison de l'atteinte de l'âge maximum d'admission pour une assurance complémentaire d'hospitalisation, elle ne pouvait lui offrir aucun autre contrat pour une assurance d'hospitalisation.
Le 11 octobre 2007, l'assurée a demandé à A._ de lui accorder le droit de transfert de l'assurance "Hospital Plus Classica" en "Hospital Plus Bonus" dès le 1er janvier 2008, conformément à l'art. 156 al. 1 et à l'art. 216 al. 8 de l'ordonnance du 9 novembre 2005 sur la surveillance des entreprises d'assurance privées (ordonnance sur la surveillance, OS; RS 961.011). A teneur de l'art. 156 al. 1 OS, si une entreprise d'assurance n'inclut plus de contrats d'assurance dans un portefeuille (portefeuille fermé), les preneurs d'assurance de ce portefeuille ont le droit de conclure, en remplacement du contrat d'assurance en cours, un contrat aussi équivalent que possible intégré dans un portefeuille ouvert de l'entreprise d'assurance ou d'une entreprise d'assurance appartenant au même groupe d'assurance, pour autant que l'entreprise d'assurance ou l'entreprise du groupe exploite un tel portefeuille ouvert.
Le 29 octobre 2007, A._ a répondu à l'assurée qu'elle ne gérait aucune police fermée au sens de l'art. 156 OS et que l'assurance "Hospital Plus Classica" était à disposition des assurés pour de nouveaux contrats, de sorte qu'il n'y avait aucun droit à un libre transfert.
B. Par acte du 25 février 2008, l'assurée a ouvert action devant le Tribunal cantonal des assurances sociales de la République et canton de Genève contre A._, concluant à son transfert dans l'assurance "Hospital Plus Bonus" avec effet rétroactif au 1er janvier 2008 et au remboursement de la différence de prime payée en trop à partir du 1er janvier 2008. Elle alléguait qu'en janvier 1997, dans le cadre de son assurance complémentaire pour hospitalisation, A._ avait opéré une différenciation en prévoyant "Hospital Plus Bonus" pour les assurés sans risques et "Hospital Plus Classica" pour les assurés avec risques, assorti d'une forte augmentation de prime. Elle aurait été transférée d'office par A._ dans l'assurance "Hospital Plus Classica" et aurait subi chaque année une forte augmentation de prime qui avait fini par atteindre 636 fr. 90 par mois en 2007, alors que la prime de l'assurance "Hospital Plus Bonus" était d'environ 50 % meilleur marché. L'assurée soutenait que l'assurance "Hospital Plus Classica" devait être considérée comme un portefeuille fermé selon l'art. 156 OS au motif qu'elle ne figurait dans aucun prospectus ou publicité de A._, que les jeunes employés ne connaissaient ni les primes, ni les prestations de cette assurance, que sur le site internet de A._, cette assurance n'était pas davantage proposée et qu'enfin la comparaison des conditions supplémentaires d'assurance permettait de constater l'équivalence entre ces deux assurances.
A._ a conclu au rejet de la demande et à ce qu'il soit constaté que l'assurance "Hospital Classica" n'était pas un portefeuille fermé au sens de l'art. 156 OS, disposition qui serait au demeurant inconstitutionnelle. En tout état de cause, l'assurée ne saurait demander son transfert dans l'assurance "Bonus" mais tout au plus à être transférée dans un produit d'assurance correspondant, dès lors qu'il appartenait à l'assureur de déterminer quelle était l'assurance la plus proche du portefeuille fermé. Selon A._, l'assurance "Hospital Classica" ne devait par ailleurs pas être considérée comme un portefeuille fermé au motif que la variante "Plus" ou "Comfort" pouvait toujours être conclue sur simple demande mais que, compte tenu des primes élevées, il y avait peu de demandes et que, même s'il existait des similitudes entre l'assurance "Hospital Classica" et "Hospital Bonus" au niveau des prestations offertes, elles n'étaient pas entièrement comparables. Quant à la constitutionnalité de l'art. 156 OS, A._ soutenait que les critères retenus par cette disposition pour considérer un portefeuille comme fermé étaient trop restrictifs et, partant, entraînaient une atteinte intolérable au principe de la liberté contractuelle. En effet, cette disposition impliquerait une obligation de contracter pour l'assureur, ce qui porterait une atteinte grave et importante à sa liberté contractuelle, sans qu'il existe une base légale formelle autorisant une telle atteinte. En édictant cette disposition, le Conseil fédéral aurait excédé le pouvoir d'appréciation qui lui avait été délégué. Il aurait introduit une restriction supplémentaire à la liberté contractuelle, alors même que le législateur avait finalement maintenu le contrôle systématique préalable des tarifs, contrairement à l'intention de départ qui avait légitimé le mandat donné au Conseil fédéral de renforcer la protection des assurés. Enfin, A._ observait que l'art. 103 de l'avant-projet de la nouvelle LCA prévoyait une norme identique à l'art. 156 OS, ce qui démontrerait que cette disposition ne constituait pas une base légale suffisante pour une telle restriction.
Par ordonnance du 24 juillet 2008, le Tribunal a invité A._ à indiquer à quelle date, pour la dernière fois, elle avait conclu une police d'assurance "Hospital Plus Classica", combien de polices d'assurance "Hospital Plus Classica" et "Comfort", respectivement "Hospital Plus Bonus" et d'assurances correspondant à "Hospital Plus Classica" elle avait conclues en 2007, et quel était le nom de cette assurance correspondante. Il a également requis la production d'extraits statistiques informatisés à titre de preuve.
A._ a répondu que les chiffres requis n'étaient pas directement disponibles sous la forme demandée et qu'ils nécessitaient des recoupements qui prendraient du temps. De plus, elle ne tenait pas à rendre public certains chiffres protégés par le secret des affaires, d'autant plus qu'ils ne seraient pas déterminants pour trancher le litige. Elle a requis du Tribunal de limiter son examen dans un premier temps à la constitutionnalité de l'art. 156 OS avant d'exiger la production de ces chiffres.
Par ordonnance du 18 septembre 2008, le Tribunal a réitéré sa demande à A._, en attirant son attention sur son obligation de collaborer et sur les conséquences résultant de l'attitude d'une partie refusant de produire une pièce. Il l'a avertie que si elle ne répondait pas aux questions posées, il statuerait en l'état du dossier.
A._ a maintenu sa position, en précisant qu'elle n'entendait pas se soustraire à son obligation de collaborer. Elle a ajouté que les données requises, qui n'étaient pas publiées dans son rapport annuel, concernaient la marche des affaires et la stratégie de vente dans le domaine des assurances privées. Elles ne devaient pas être disponibles pour le public et par-la même pour ses concurrents, car elles dépassaient le rapport assureur-assurés et pourraient permettre à un tiers d'adapter sa technique de vente.
Par arrêt sur partie et sur incident du 18 décembre 2008, le Tribunal a d'abord constaté que l'art. 156 OS ne violait pas la Constitution fédérale, avant de confirmer ses ordonnances des 24 juillet et 18 septembre 2008.
C. A._ (la recourante) a interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt du 18 décembre 2008. Elle concluait principalement, avec suite de frais et dépens, à ce que l'inconstitutionnalité de l'art. 156 OS soit constatée et à ce que la demande du 25 février 2008 soit rejetée, subsidiairement à ce que les ordonnances des 24 juillet et 18 septembre 2008 soient annulées et à ce qu'il soit constaté qu'elle n'avait pas à produire les pièces et renseignements requis. Elle a également demandé l'effet suspensif, qui a été accordé par ordonnance présidentielle du 26 février 2009.
L'assurée (l'intimée) a proposé, sous suite de dépens, principalement l'irrecevabilité, subsidiairement le rejet des recours.
La recourante a déposé une détermination sur la réponse, dans laquelle elle a maintenu intégralement ses conclusions.
Considérant en droit:
1. L'arrêt attaqué est une décision préjudicielle ou incidente notifiée séparément qui ne porte ni sur la compétence ni sur une demande de récusation (cf. art. 92 LTF). Elle ne peut dès lors faire l'objet d'un recours que si elle est susceptible de causer un préjudice irréparable ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. a et b LTF); à défaut, elle pourra seulement être attaquée par un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF). Cette réglementation est fondée sur des motifs d'économie de la procédure: en tant que cour suprême, le Tribunal fédéral ne devrait en principe connaître qu'une seule fois de la même affaire, à la fin de la procédure (ATF 134 III 188 consid. 2.2; 134 IV 43 consid. 2.1 p. 45).
1.1 Le recours est d'abord ouvert contre les décisions préjudicielles ou incidentes, notifiées séparément, qui peuvent causer un préjudice irréparable (art. 93 al. 1 let. a LTF). Selon la jurisprudence, un préjudice ne peut être qualifié d'irréparable que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral; en revanche, un dommage de pur fait, tel que la prolongation de la procédure ou un accroissement des frais de celle-ci, n'est pas considéré comme un dommage irréparable de ce point de vue (ATF 135 II 30 consid. 1.3.4 p. 36; 134 III 188 consid. 2.1 p. 190 et consid. 2.2). Il appartient au recourant d'alléguer et d'établir la possibilité que la décision préjudicielle ou incidente lui cause un dommage irréparable (ATF 134 III 426 consid. 1.2 p. 429), à moins que celui-ci ne fasse d'emblée aucun doute (ATF 133 III 629 consid. 2.3.1).
La recourante allègue d'abord que l'entrée en force de l'arrêt attaqué lui causerait un préjudice irréparable, car si l'art. 156 OS était reconnu conforme à la Constitution fédérale, il devrait être appliqué sans restriction pour l'ensemble des assurés et constituerait ainsi pour eux en principe un droit au transfert d'une catégorie d'assurance à une autre. Cela revient de la part de la recourante à soutenir que la perte du procès au fond lui causerait un préjudice, ce qui est toutefois dans l'ordre des choses. Ce n'est toutefois pas de cela qu'il s'agit. La question est de savoir si un dommage irréparable résulte du fait de ne pas pouvoir attaquer une décision incidente immédiatement, mais seulement plus tard avec la décision finale.
La recourante soutient en outre qu'en matière de protection du secret des affaires, le préjudice survient dès la transmission des informations. Certes, l'accès de la partie adverse à des secrets d'affaires peut être constitutif d'un préjudice irréparable (cf. arrêt 4P.117/1998 du 26 octobre 1998 consid. 1b/bb/aaa, in SJ 1999 I 186). Il ne suffit cependant pas que la partie requise de produire une pièce affirme que celle-ci contient un secret d'affaires pour que le risque d'un dommage irréparable en cas de production doive être automatiquement admis. En l'espèce, la cour cantonale a retenu qu'un tel risque n'existait pas dès lors qu'il n'était pas question d'une production de la comptabilité entière comme lorsqu'il s'agit d'examiner la légalité d'une prime de l'assurance obligatoire. La recourante conteste pour l'essentiel l'utilité des pièces requises pour la décision à rendre au fond, mais ne discute pas les motifs de l'autorité cantonale et ne précise pas en quoi consisteraient les données à protéger. Or, on ne discerne pas sans autre le caractère de secret d'affaires de la date à laquelle elle a conclu pour la dernière fois une police d'assurance "Hospital Plus Classica", du nombre d'assurances des divers types pratiqués qu'elle a conclues en 2007 et du nom de l'assurance correspondant à "Hospital Plus Classica", ni des extraits statistiques correspondants. Quoi qu'il en soit, le droit de procédure cantonal prévoit des règles afin de protéger le cas échéant les secrets d'affaires d'une partie; l'autorité peut notamment interdire la consultation de pièces produites par une partie s'il y a lieu de les garder secrètes (cf. art. 45 de la loi genevoise du 12 septembre 1985 sur la procédure administrative [LCA/GE; E 5 10]). La recourante ne démontre pas en quoi cette faculté serait le cas échéant insuffisante pour garantir ses intérêts dans le cas d'espèce.
1.2 Le recours est également ouvert contre les décisions préjudicielles ou incidentes, notifiées séparément, si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF). La première des deux conditions cumulatives est réalisée si le Tribunal fédéral peut mettre fin une fois pour toutes à la procédure en jugeant différemment la question tranchée dans la décision préjudicielle ou incidente (ATF 133 III 629 consid. 2.4.1). Quant à la seconde condition, il appartient à la partie recourante d'établir qu'une décision finale immédiate permettrait d'éviter une procédure probatoire longue et coûteuse, si cela n'est pas manifeste; il doit en particulier indiquer de manière détaillée quelles questions de fait sont encore litigieuses, quelles preuves - déjà offertes ou requises - devraient encore être administrées et en quoi celles-ci entraîneraient une procédure probatoire longue et coûteuse (ATF 133 III 629 consid. 2.4.2 p. 633).
En l'occurrence, la recourante allègue que la préparation des statistiques requises lui causerait une perte de temps et des coûts importants. Il s'agit là toutefois de simples affirmations qui ne trouvent aucun appui dans le dossier; selon la recourante d'ailleurs, il n'est pas possible de chiffrer ou décrire les mesures préparatoires nécessaires. Or, la recourante est requise de donner le nombre de divers contrats d'assurances conclues par elle et de comparer les prestations prévues dans les divers contrats qu'elle propose; il n'est nullement manifeste que collecter ces données nécessiterait de sa part un travail qui prolongerait de manière significative la procédure probatoire et lui causerait des coûts disproportionnés.
1.3 En définitive, la recourante n'a ainsi pas démontré que la décision incidente attaquée pourrait lui causer un dommage irréparable ou que l'admission d'un recours immédiat permettrait d'éviter une procédure probatoire longue et coûteuse. L'arrêt attaqué ne peut donc pas faire l'objet d'un recours en matière civile ou d'un recours constitutionnel subsidiaire immédiats (cf. art. 93 al. 1 et art. 117 LTF). Il s'ensuit que les recours doivent être déclarés irrecevables, sans qu'il soit nécessaire d'examiner les autres questions de recevabilité.
2. Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimée sont mis à la charge de la recourante, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les recours sont irrecevables.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de la recourante.
3. Une indemnité de 2'500 fr., à payer à l'intimée à titre de dépens, est mise à la charge de la recourante.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal des assurances sociales de la République et canton de Genève, Chambre 5.
Lausanne, le 1er mai 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz