Faits:
A. A.a Y._ SA (Y._) est une société anonyme sise à Nassau (Bahamas; Commonwealth of the Bahamas), active dans la gestion de fortune en qualité de tiers gérant. Le 27 mai 2003, elle a conclu une convention d'apporteur d'affaires avec la Banque A.X._ SA (Banque A.X._), société du groupe X._ sise à Genève. A teneur de cette convention, Y._ devait présenter à Banque A.X._ des clients dont celle-là gérerait les avoirs. En contrepartie de l'apport de clients, Banque A.X._ s'obligeait à rétrocéder à Y._ les éléments suivants:
- 50% des droits de garde, des rétrocessions sur dépôts fiduciaires, des courtages sur opérations boursières et des rétrocessions sur coupons;
- 80% des rétrocessions reçues des fonds de placement V._ pour les parts directement détenues par les clients, et 65% pour les parts détenues par les clients de Y._ à travers le fonds W._.
Y._ s'engageait à informer ses clients du fait qu'elle recevait des rétrocessions de la banque.
La convention était conclue pour une durée indéterminée, chaque partie pouvant la résilier moyennant un préavis de trois mois. En cas de résiliation, les commissions devaient être versées durant six mois dès la date de résiliation. Etaient en outre prévues les dispositions suivantes: "Ce contrat forme un ensemble et il n'est pas possible de mettre un terme uniquement à l'une ou l'autre de ses clauses" (ch. IV/9); "Toute modification à ce contrat doit être faite en la forme écrite" (ch. IV/10). Le droit suisse était déclaré applicable et le for fixé à Genève.
A.b Y._ a conclu une seconde convention, non datée, avec B.X._ Fund Ltd (B.X._ Fund), soit une autre société du groupe X._ sise à Nassau (Bahamas); l'entrée en vigueur de cette seconde convention était fixée au 1er janvier 2004. B.X._ Fund s'engageait à rétrocéder à Y._ les éléments suivants:
- 80% des rétrocessions reçues des fonds de placement V._ pour les parts directement détenues par les clients de Banque A.X._ présentés par Y._, ainsi que 50% des rétrocessions reçues des fonds de placement détenus par le fonds W._ pour les parts détenues par les clients de Y._;
- 99% des droits d'entrée et de sortie dans les fonds de placement V._ dus par les clients de Y._ (1% restant acquis à B.X._ Fund).
Cette seconde convention était soumise au droit bahaméen; le for était fixé à Nassau. Il était notamment stipulé: "Dans l'hypothèse où certains éléments de cette convention auraient déjà fait l'objet de dispositions particulières entre Y._ et une autre entité du groupe X._, notamment la Banque A.X._ SA, les termes de la présente convention se substitueront à toutes autres dispositions antérieures et demeureront seuls valables" (ch. 6).
A.c Le 15 octobre 2008, Banque A.X._ a résilié la convention du 27 mai 2003 avec un préavis de trois mois. Elle précisait qu'elle ne verserait plus de rétrocession à Y._.
B. B.a Le 1er avril 2009, Y._ a ouvert action contre Banque A.X._ devant le Tribunal de première instance de Genève (12ème Chambre). Elle concluait au paiement des sommes suivantes:
- 129'981 fr. à titre de rétrocessions sur commissions de bourse, droits de garde, commissions sur placements à court terme et droits d'entrée dans les fonds V._, pour les 3e et 4e trimestres 2008 et pour le 1er trimestre 2009,
- 138'956 fr. et 7'416 dollars américains à titre de rétrocessions des commissions d'encours sur les fonds V._, pour les 3e et 4e trimestres 2008 et pour le 1er trimestre 2009,
- 39'465 euros et 12'220 dollars américains à titre de dommages et intérêts pour vente indue de titres nantis en faveur de la Banque.
Préalablement, Y._ sollicitait la production de tous les décomptes et relevés nécessaires au calcul des rétrocessions précitées.
Banque A.X._ a conclu au rejet. D'une part, elle contestait sa légitimation passive à l'action en tant qu'elle tendait au paiement des droits d'entrée et commissions d'encours sur les fonds V._; à son sens, B.X._ Fund en était seule débitrice en vertu de la seconde convention. D'autre part, elle admettait s'être engagée par la première convention de 2003 à rétrocéder partiellement les commissions de bourse, droits de garde et placements fiduciaires, mais estimait ne rien devoir à Y._ dès lors que cette dernière avait violé son obligation d'informer ses clients qu'elle recevait des rétrocessions.
Par jugement incident du 3 novembre 2011, le Tribunal de première instance a constaté que la Banque A.X._ avait la légitimation passive et lui a imparti un délai pour produire divers décomptes et relevés.
B.b Banque A.X._ a interjeté appel. Statuant par arrêt du 8 juin 2012, la Chambre civile de la Cour de justice a déclaré l'appel irrecevable dans la mesure où il était dirigé contre l'injonction de produire des décomptes et relevés. Pour le surplus, la Chambre a rejeté l'appel et confirmé que Banque A.X._ avait la légitimation passive.
La cour d'appel a fait en substance l'analyse suivante: la rétrocession des commissions d'encours versées par les fonds V._ était régie par les deux conventions précitées (supra, let. Aa et Ab). La première convention du 27 mai 2003 liant Y._ à Banque A.X._ n'avait pas été modifiée en la forme écrite. Banque A.X._ elle-même n'alléguait pas que le représentant de B.X._ Fund aurait signé la seconde convention également au nom de la banque, ou que B.X._ Fund aurait représenté celle-ci dans la mesure nécessaire à la modification apportée. Il fallait en conclure que la première convention entre Y._ et Banque A.X._ n'avait pas été modifiée par la seconde convention liant Y._ à B.X._ Fund; ce contrat-ci représentait pour Banque A.X._ une res inter alios acta, sans incidence sur ses propres relations contractuelles avec Y._. En bref, la banque restait liée aux côtés de B.X._ Fund s'agissant de la rétrocession des commissions d'encours. Elle n'avait pas prouvé ses allégations selon lesquelles elle aurait agi en tant que représentante ou "back office" de B.X._ Fund.
Quant à la rétrocession des droits d'entrée et de sortie prélevés sur les investissements dans les fonds V._, elle était prévue expressément dans la seconde convention conclue avec B.X._ Fund, mais pas dans la première convention passée avec Banque A.X._. Il fallait néanmoins admettre que la banque s'était engagée aux côtés de B.X._ Fund à payer ces rétrocessions. Les ordres des clients relatifs aux investissements dans les fonds V._ étaient placés directement auprès de Banque A.X._; B.X._ Fund n'intervenait à aucun titre dans le prélèvement ou dans le calcul des droits d'entrée. En outre, après l'entrée en vigueur de la seconde convention, il était arrivé à une occasion au moins que Banque A.X._ inclue les droits d'entrée et de sortie dans le décompte des prestations qu'elle devait à Y._ en vertu de la convention du 27 mai 2003 (commissions de bourse, droits de garde et commissions sur dépôts fiduciaires); les montants reversés à Y._ ne correspondaient pas aux 99 % prévus dans la seconde convention.
C. Banque A.X._ (la recourante) interjette un recours en matière civile, concluant principalement à ce que soit déniée sa légitimation passive à l'action en tant qu'elle vise au paiement des droits d'entrée et commissions d'encours sur les fonds V._, et à ce que Y._ (l'intimée) soit déboutée de toutes autres ou contraires conclusions. Subsidiairement, elle requiert que les autorités genevoises soient déclarées incompétentes pour connaître des conclusions fondées sur la seconde convention ayant pris effet le 1er janvier 2004 et que les autres conclusions soient rejetées. L'intimée pour sa part conclut au déboutement de la recourante. Par ordonnance du 12 septembre 2012, la Présidente de la cour de céans a accordé l'effet suspensif au recours.
Considérant en droit:
1. La recourante conteste tout d'abord sa légitimation passive concernant la demande de rétrocession des commissions d'encours versées par les fonds V._. Elle soutient que la seconde convention (entre B.X._ Fund et l'intimée) a été conclue en substitution de la première convention (entre elle-même et l'intimée), pour faire suite à la signature d'un nouvel accord de rétrocession entre B.X._ Fund et les fonds V._; depuis lors, elle n'aurait fait que fournir une assistance technique et administrative de "back office" à B.X._ Fund.
La Chambre civile n'a pas retenu qu'un tel accord aurait été passé entre B.X._ Fund et les fonds V._, ni précisé quel aurait été son contenu. La recourante se réfère à un considérant de l'arrêt attaqué qui ne fait que résumer les déclarations de plusieurs témoins entendus lors de l'instruction; la Chambre civile ne porte pas d'appréciation à leur sujet et ne dit pas si elle les retient ou non, si bien qu'on ne saurait y voir la constatation d'un fait. En outre, la Chambre civile a clairement précisé que rien n'étayait le fait allégué par la recourante selon lequel elle aurait fonctionné comme "back office" de B.X._ Fund. La recourante se fonde ainsi sur des faits qui ne ressortent pas de l'arrêt attaqué ou qui ont été expressément écartés, ce qui rend la critique irrecevable (art. 105 al. 1 LTF).
Quoi qu'il en soit, la forme écrite a été réservée pour toute modification à la première convention; à défaut d'autre précision sur la portée et les effets de la forme prescrite, il en découle qu'une modification de la première convention n'était valable que si elle était faite en la forme écrite (art. 16 al. 2 et art. 11 al. 2 CO). En l'espèce, la Chambre civile a constaté, d'une part, que la recourante et l'intimée n'avaient pas signé d'avenant écrit à la première convention et, d'autre part, que la personne ayant signé la seconde convention en tant que représentant de B.X._ Fund n'avait pas indiqué agir simultanément comme représentant de la recourante; B.X._ Fund n'avait pas non plus expressément agi en qualité de représentante de la recourante. Ces constatations de fait, que la recourante ne critique pas, ou du moins pas de manière recevable (cf. ATF 136 II 101 consid. 3), lient le Tribunal fédéral (art. 105 al. 1 LTF). Pour le surplus, la recourante ne soutient pas ni a fortiori ne démontre qu'une signature de sa part n'était pas nécessaire pour ce type de modification. En bref, il n'y a pas à revenir sur l'analyse de la cour d'appel selon laquelle la première convention n'a pas été modifiée et oblige la recourante à rétrocéder les commissions d'encours versées par les fonds V._. Ce point de l'arrêt est dès lors acquis.
2. La recourante conteste ensuite sa légitimation passive à l'action en paiement en tant qu'elle vise les droits d'entrée et de sortie afférents aux fonds V._.
2.1 La Chambre civile s'est référée à la jurisprudence en matière de confusion des sphères de deux sociétés, sans qu'on saisisse quelle portée elle lui a finalement donnée dans le cas d'espèce. On admet une telle confusion lorsqu'extérieurement, l'identité d'une société-fille ne peut plus être distinguée de celle de la société-mère, en d'autres termes, lorsqu'une apparence d'unité est créée par des signes extérieurs tels que des raisons sociales identiques ou très semblables, des sièges sociaux, des locaux, des organes, du personnel ou des coordonnées téléphoniques identiques (ATF 137 III 550). La recourante objecte avec raison que ces conditions ne sont pas remplies en l'espèce par la recourante et B.X._ Fund; les deux sociétés appartiennent certes au même groupe, mais leurs raisons sociales ne prêtent pas à confusion et leurs sièges se trouvent dans des pays différents.
2.2 Passant à l'examen du cas concret, la Chambre civile a relevé que le versement des droits d'entrée et de sortie pour les investissements dans les fonds V._ était uniquement prévu par la seconde convention, à laquelle la recourante n'était pas partie. Il fallait néanmoins conclure que celle-ci s'était engagée envers l'intimée aux côtés de B.X._ Fund. La Chambre paraît ainsi retenir une reprise cumulative de dette.
La seconde convention conclue entre deux sociétés bahaméennes est soumise au droit bahaméen. Toutefois, la reprise de dette cumulative par un tiers n'est pas régie par le droit applicable au contrat principal, mais par le droit du pays où le débiteur qui reprend la dette a sa résidence habituelle ou son établissement (BERNARD DUTOIT, Droit international privé suisse: Commentaire de la loi fédérale du 18 décembre 1987, 4e éd. 2005, n° 29 ad art. 117 LDIP; KELLER/KREN KOSTKIEWICZ, in Zürcher Kommentar zum IPRG, 2e éd. 2004, n° 136 ad art. 117 LDIP; AMSTUTZ/VOGT/WANG, in Basler Kommentar, Internationales Privatrecht, 2e éd. 2007, n° 55 ad art. 117 LDIP; cf. art. 117 al. 1 et al. 3 let. e LDIP; ATF 111 II 276 consid. 1c). C'est donc le droit suisse qui détermine si la recourante s'est engagée valablement aux côtés de B.X._ Fund et, le cas échéant, dans quelle mesure.
La loi ne réglemente pas la reprise cumulative de dette. Cet acte non formel consiste à ce qu'un tiers, le reprenant, se constitue débiteur aux côtés d'une autre personne déjà débitrice, de sorte que le créancier dispose désormais de deux débiteurs solidaires. Une telle figure juridique peut découler d'une convention conclue entre le débiteur et le reprenant en faveur du créancier, ou d'une convention entre ce dernier et le reprenant. La première hypothèse envisagée contient une stipulation pour autrui; il n'est pas nécessaire que le créancier donne son consentement dans la mesure où il ne lui est imposé aucune obligation ni charge. Un engagement solidaire se conçoit notamment lorsque le reprenant a un intérêt direct et matériel dans l'affaire entre le débiteur et le créancier, que ce dernier a connaissance de cet intérêt et peut donc percevoir le motif pour lequel le reprenant se déclare prêt à assumer une obligation identique à celle du débiteur; tel est notamment le cas lorsque le débiteur et le reprenant sont liés et que l'affaire concourt à la réalisation de leur but commun. Pour déterminer s'il y a eu reprise de dette cumulative, il y a lieu, le cas échéant, de se référer au principe de la confiance en se fondant sur le contenu des manifestations de volonté et sur les circonstances; le juge doit rechercher comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances (ATF 129 III 702 spéc. consid. 2.1, 2.2, 2.4 [p. 707] et 2.6; ENGEL, op. cit., p. 902 s.).
L'arrêt attaqué est succinct sur cette question. La Chambre civile constate en substance que B.X._ Fund n'intervenait à aucun titre dans le prélèvement ou le calcul des droits d'entrée, sous-entendant que ce rôle incombait à la recourante, qui recevait directement les ordres des investisseurs et était directement impliquée dans le versement des rétrocessions; un tel constat n'implique toutefois pas nécessairement que la recourante était débitrice. Par ailleurs, la Chambre concède que les rétrocessions litigieuses ont pu être reversées à l'intimée par le biais de B.X._ Fund, mais refuse d'interpréter ce simple fait comme un signe de ce que la recourante aurait agi comme représentante de B.X._ Fund; or, cela n'implique pas le contraire non plus. Enfin, la Chambre civile a constaté que les montants reversés à l'intimée ne correspondaient pas exactement à ce qui était stipulé dans la seconde convention; on ne discerne pas en quoi cela signifierait que la recourante s'est obligée à exécuter la seconde convention. En bref, les éléments mis en évidence par l'autorité d'appel ne suffisent pas à retenir que la recourante se serait engagée envers B.X._ Fund ou envers l'intimée à reprendre cumulativement les obligations découlant de la seconde convention, ou du moins que l'intimée pouvait et devait de bonne foi admettre que la recourante avait pris un tel engagement.
2.3 Cela étant, l'incertitude demeure sur les motifs ayant conduit la Cour de justice à reconnaître un engagement solidaire de la recourante. La cour avait-elle d'autres éléments l'autorisant à retenir une reprise cumulative de dette? Il n'est par ailleurs pas exclu qu'elle ait voulu retenir une responsabilité fondée sur l'apparence juridique, qui est évoquée dans l'arrêt qu'elle cite (cf. ATF 137 III 550 consid. 2.3.2 i.f. et les réf. citées). La cour d'appel relève aussi que la recourante "a continué à exécuter les dispositions de la convention qui la liait à l'intimée, y compris en ce qui concerne les droits d'entrée et de sortie sur les fonds V._"; elle conclut que la recourante est "demeurée engagée vis-à-vis de l'intimée, non pas exclusivement, mais aux côtés de B.X._ Fund". Une telle formulation laisse à penser que l'obligation de rétrocéder les droits d'entrée et de sortie pourrait découler implicitement de la première convention conclue par la recourante. La cour a-t-elle retenu l'argumentation de l'intimée, selon laquelle les droits d'entrée étaient des commissions de courtage prélevées par la banque intermédiaire, et non par les fonds de placement V._ qui les auraient ensuite rétrocédés?
2.4 En définitive, il y a lieu d'annuler l'arrêt attaqué (cf. art. 112 al. 1 et al. 3 i.f. LTF), le recours étant partiellement admis en tant qu'il a trait à la légitimation passive de la recourante pour la demande en rétrocession des droits d'entrée et de sortie afférents aux fonds V._.
3. A titre subsidiaire, pour le cas où sa légitimation passive devrait être admise, la recourante conclut à ce que les autorités genevoises soient déclarées incompétentes en raison du lieu pour connaître des prétentions déduites de la seconde convention dès lors que celle-ci fixe le for aux Bahamas. La même conclusion subsidiaire a déjà été prise dans l'appel cantonal; la Chambre civile n'en dit toutefois mot dans l'arrêt attaqué. En première instance cantonale, la recourante n'avait pas contesté la compétence des autorités genevoises et avait procédé au fond sans réserve.
En cas de reprise cumulative de dette, le for fixé dans le contrat principal peut lier le reprenant (cf. ATF 134 III 565 consid. 3.2); il n'y a toutefois pas à examiner la question plus avant. En effet, le tribunal saisi par le demandeur devient en tout état de cause compétent lorsque le défendeur procède au fond sans faire de réserve (art. 6 LDIP, art. 18 CPC). En première instance, la recourante n'a pas fait de réserve. En appel, elle a fait une réserve, mais uniquement à titre subsidiaire pour le cas où elle n'obtiendrait pas gain de cause sur le fond; elle acceptait ainsi que les autorités genevoises tranchent au fond, pour autant qu'elles lui donnent raison! Une telle réserve sélective n'est pas licite. La compétence des autorités genevoises est dès lors acquise.
4. En bref, le recours est partiellement admis dans la mesure indiquée ci-dessus (consid. 2.4). L'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour suite de la procédure.
Aucune partie n'obtenant entièrement gain de cause, il se justifie de répartir les frais judiciaires par moitié et de compenser les dépens (art. 66 et 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis en tant qu'il a trait à la légitimation passive de la recourante pour la demande de rétrocession des droits d'entrée et de sortie afférents aux fonds V._. Il est rejeté pour le surplus.
2. L'arrêt attaqué est annulé. La cause est renvoyée à l'autorité précédente pour suite de la procédure.
3. Chaque partie supporte la moitié des frais judiciaires, arrêtés à 6'000 fr.
4. Les dépens sont compensés.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 8 novembre 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti