Faits:
A. M._, assuré auprès de ÖKK Kranken- und Unfallversicherungen AG (ci-après: la caisse) pour l'assurance obligatoire des soins en cas de maladie, a bénéficié de soins à domicile fournis par la société X._ SA, depuis octobre 2007 jusqu'à son décès en juillet 2009. Le 28 octobre 2008, le prénommé a cédé à X._ SA ses créances à l'encontre de son assureur-maladie, les factures de la société étant envoyées directement à celui-ci.
X._ SA a émis 21 factures concernant des prestations effectuées en faveur de M._ entre les mois d'octobre 2008 et juillet 2009, pour un montant total de 114'577 fr. 80. Par courriers des 16 février et 13 août 2009, la caisse a contesté une partie des prétentions de la société.
B. B.a Le 5 novembre 2009, X._ SA a saisi le Tribunal arbitral des assurances de la République et canton de Genève d'une demande en paiement relative à des prestations fournies à M._ pour une somme de 59'742 fr. 85, qu'elle a réduite en cours de procédure à 53'159 fr. 35. Par jugement du 11 mars 2011, le Tribunal arbitral s'est déclaré incompétent et a transmis la cause à la Cour de justice, Chambre des assurances sociales, de la République et canton de Genève comme objet de sa compétence.
B.b A la suite de l'arrêt du 20 juillet 2011 par lequel le Tribunal fédéral a déclaré irrecevable le recours formé par la caisse contre ce jugement (arrêt 9C_336/2011), la Chambre des assurances sociales de la Cour de justice genevoise a inscrit la cause au rôle et donné l'occasion aux parties de se déterminer sur la question de la recevabilité du recours. Elle a, par arrêt incident du 28 novembre 2011, déclaré le recours recevable (ch. 1 du dispositif) et réservé la suite de la procédure (ch. 2 du dispositif).
C. Agissant par la voie du recours en matière de droit public, la caisse demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement cantonal et de déclarer irrecevable la demande de X._ SA.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.
Considérant en droit:
1. Le jugement entrepris est une décision rendue par une autorité cantonale de dernière instance dans une cause de droit public, qui ne tombe pas sous le coup des exceptions de l'art. 83 LTF. Il s'agit d'une décision incidente qui porte sur la compétence fonctionnelle (c'est-à-dire la compétence d'une autorité selon l'ordre dans lequel se succèdent les différentes instances de recours, cf. PIERRE MOOR/ETIENNE POLTIER, Droit administratif, vol. II, 2011, ch. 5.4.3.3, p. 670): la juridiction cantonale a admis qu'elle pouvait connaître du litige que lui avait soumis l'intimée, même si l'assureur-maladie n'avait pas rendu de décision, puis de décision sur opposition sur les prestations réclamées par l'intimée. Notifiée séparément, une telle décision incidente est immédiatement attaquable devant le Tribunal fédéral (art. 92 al. 1 LTF; cf. BERNARD CORBOZ, in Commentaire de la LTF, 2009, ad art. 92 n° 10 p. 895; FELIX UHLMANN, in Bundesgerichtsgesetz, 2008, ad art. 92 n° 8 p. 909). Le recours en matière de droit public est donc recevable.
2. 2.1 La juridiction cantonale a constaté que l'assureur-maladie n'avait pas rendu de décision formelle, ni de décision sur opposition au sens des art. 49 et 52 LPGA. Il s'était cependant exprimé par courriers des 16 février 2009 et 13 août 2009 adressés à X._ SA, en lui indiquant, motifs à l'appui, refuser la prise en charge d'une partie des prestations requises. De même, la caisse-maladie avait-elle eu l'occasion de se prononcer à plusieurs reprises et avec des arguments plus complets que ceux qu'elle aurait développés dans une décision formelle initiale devant le Tribunal arbitral genevois des assurances. En rappelant qu'un jugement sur le fond ne pouvait en principe pas être prononcé si aucune décision administrative n'était rendue (cf. ATF 131 V 164 consid. 2.1 p. 164; 125 V 414 consid. 1a p. 414), la juridiction cantonale a cependant considéré, au vu des circonstances et en application du principe de l'économie de procédure, que les arguments développés par l'assureur-maladie devant le Tribunal arbitral devaient être assimilés à une décision et une décision sur opposition au sens des art. 49 al. 1 et 52 al. 2 LPGA, et ceux présentés par X._ SA à une opposition et un recours au sens des art. 52 al. 1 et 56 al. 1 LPGA.
2.2 La recourante reproche aux premiers juges d'avoir violé le droit fédéral en assimilant ses prises de position dans le cadre de la procédure devant le Tribunal arbitral genevois à une décision et une décision sur opposition. Dès lors que la simple communication d'une opinion juridique de sa part n'a pas un caractère contraignant, elle ne pouvait constituer un acte attaquable. Ses écritures présentées devant une autorité incompétente ne pouvaient donc être considérées comme des décisions sujettes à recours au sens des art. 49, 52 et 56 LPGA et le "raccourci emprunté" par les premiers juges violait la LPGA et mettait en péril la sécurité du droit. Selon la recourante, le motif tiré de la célérité de la procédure ne suffisait pas à déroger aux règles essentielles de procédure prévues par la LPGA, ce d'autant moins que la durée de la procédure devant le Tribunal arbitral genevois ne lui était nullement imputable.
3. 3.1 Le devoir de l'assureur de rendre une décision est prévu par l'art. 49 LPGA (en relation avec l'art. 1 al. 1 LAMal). Selon l'al. 1 de l'art. 49 LPGA, l'assureur doit rendre par écrit les décisions qui portent sur des prestations, créances ou injonctions importantes ou avec lesquelles l'intéressé n'est pas d'accord. Il n'est pas contesté en l'espèce que la recourante n'a pas rendu de décision au sens de cette disposition, alors qu'elle aurait en principe été tenue de le faire.
Dans l'arrêt 9C_320/2010 du 2 décembre 2010 cité par la recourante, le Tribunal fédéral a en effet jugé que lorsque le fournisseur de prestations se fait, comme en l'espèce, céder par l'assuré le droit au remboursement de la rémunération du fournisseur, il doit faire valoir le droit au remboursement dans la même procédure que celle qu'aurait eue à disposition l'assuré. Le fournisseur de prestations invoque une créance propre à l'assuré qu'il fait valoir uniquement en raison de la cession de cette prétention par celui-ci et ne fait que se substituer au créancier cédant en acquérant la titularité de la créance. Aussi, les contestations portant sur la prétention en remboursement cédée entre le cessionnaire et l'assureur-maladie, singulièrement sur l'exécution de cette créance, doivent-elles faire l'objet d'une décision administrative, puis, le cas échéant, d'une décision sur opposition suivie d'une procédure judiciaire devant le tribunal cantonal des assurances (consid. 4.4 de l'arrêt cité).
3.2 A la suite de la juridiction cantonale, on constate que nonobstant l'absence d'une décision administrative formelle (et d'une décision sur opposition), le renvoi de la cause à la recourante pour qu'elle statue sous la forme d'une décision au sens de l'art. 49 al. 1 LPGA n'est, en l'espèce, pas compatible avec le droit des parties à un traitement rapide de leur cause en relation avec le principe de l'économie de procédure.
Tout d'abord, selon les constatations des premiers juges qu'elle ne remet pas en cause, la recourante s'est exprimée de façon détaillée sur les prétentions de l'intimée, initialement en dehors de toute procédure judiciaire (courriers des 16 février et 13 août 2009), puis en cours d'instance (écritures déposées devant le Tribunal arbitral genevois), de sorte que sa position sur le bien-fondé du remboursement des prestations fournies par l'intimée est connue. Quoi qu'en dise la recourante (en se référant à un ATF 121 II 473), la portée de ses écritures ne peut pas être comparée à celle de la communication d'une opinion juridique par un organe de l'administration fédérale adressée à plusieurs administrations cantonales pour les informer de son point de vue sur un sujet (laquelle a fait l'objet du consid. 3a de l'arrêt cité). La recourante a en effet pris position sur les prétentions formulées par l'intimée dans sa demande devant le Tribunal arbitral genevois, de sorte qu'elle s'est exprimée sur la situation individuelle et concrète de l'intimée quant aux prétentions que fait valoir celle-ci (en tant que cessionnaire des droits de l'assuré). L'objet du litige entre les parties peut ainsi être clairement circonscrit par, d'une part, la prétention en remboursement de l'intimée pour les prestations facturées entre octobre 2008 et juillet 2009 (pour un montant de 53'159 fr. 35) et, d'autre part, le refus motivé de la recourante de prendre celles-ci en charge.
On constate ensuite que la recourante invoque son obligation de rendre une décision formelle (puis, le cas échéant, une décision sur opposition) sans contester en tant que telle la compétence matérielle de la Chambre des assurances sociales de la Cour de justice genevoise pour connaître du litige qui l'oppose à l'intimée. Elle ne remet pas non plus en cause la constatation des premiers juges selon laquelle elle ne changerait pas sa position si elle était invitée à rendre une décision formelle, de sorte qu'elle semble se prévaloir de la stricte application des règles de procédure comme une fin en soi. Le renvoi de la cause à la caisse-maladie constituerait ainsi un acte sans portée nouvelle puisque la position de la recourante est connue et n'a pas varié depuis le début du litige. Dans cette mesure, la procédure d'opposition, qui se distingue de la procédure de prise de décision dont elle n'est pas la simple répétition et oblige l'assureur à revoir sa décision de plus près, afin de décharger les tribunaux (ATF 125 V 188 consid. 1b et 1c p. 190 sv), n'atteindrait pas son but.
Quant au grief que la recourante tire de la perte du double degré de juridiction, il n'est pas pertinent, puisque cette garantie a trait à la possibilité pour les citoyens de faire valoir leurs arguments devant deux autorités successives et que l'intimée a expressément renoncé à se prévaloir de l'absence de décision administrative, en relation avec son droit d'être entendu et sollicité de la juridiction cantonale qu'elle entre en matière et poursuive l'instruction de la cause (détermination du 4 octobre 2011 en procédure cantonale).
Dans ces circonstances, la juridiction cantonale pouvait considérer la situation comme si une décision formelle avait été rendue pour ne pas retarder inutilement la procédure.
3.3 Il résulte de ce qui précède que le recours est mal fondé.
4. Vu l'issue du litige, la recourante supportera les frais de justice (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 22 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless