Faits:
A. Par contrat du 9 août 1996, C._, D._ et la Société Immobilière B._ SA (ci-après: le consortium) obtinrent de la Banque Y._ (ci-après: la banque) un prêt hypothécaire de 6'640'000 fr. à un taux d'intérêts de 4% par an; l'échéance initiale du prêt était fixée au 31 décembre 2006 et le prêt devait être amorti par 150'000 fr. au 31 décembre 2001, puis par 100'000 fr. annuellement pendant les années 2002 à 2006. Le consortium remit à la banque deux cédules hypothécaires à titre de sûretés; il lui céda en outre l'état locatif net de l'immeuble grevé et lui donna le mandat de gestion immobilière. Selon les conditions spéciales applicables aux prêts hypothécaires annexées au contrat et contresignées par les cocontractants, le prêt ou crédit était exigible de plein droit et sans délai en cas de retard de plus de trente jours dans le paiement des intérêts, amortissements, commissions ou autres accessoires. La relation bancaire portait le numéro 2003 (...).
Des différends apparurent rapidement entre les parties. La banque reprocha en particulier au consortium de ne pas respecter les échéances prévues.
Par lettre du 31 mai 2000 adressée à la banque, C._, qui exerce la profession d'avocat, exposa que le consortium et la banque avaient trouvé un accord notamment sur les points suivants: 1) le montant du capital du prêt et des intérêts reconnus par les parties au 31 décembre 1999 était de 6'294'885 fr. 75; 2) la facturation des intérêts au taux annuel de 4% était suspendue jusqu'à atteindre le solde des montants reconnus, soit 6'294'885 fr. 75; 3) les amortissements étaient décalés de deux ans dans le temps, le premier amortissement de 150'000 fr. étant reporté au 31 décembre 2003; 4) l'échéance du prêt était reportée de trois ans.
Par lettre du 16 juin 2000 adressée à C._, la banque contesta les termes du courrier en précisant qu'ils ne reflétaient aucune réalité.
C._ répondit le 20 juin 2000. Il maintint les termes de son courrier, soutenant qu'ils correspondaient à un accord entre les parties.
Le 19 décembre 2000, la banque informa le consortium qu'elle avait cédé sa créance résultant du prêt à W._ avec effet au 30 juin 2000, (...); elle précisait que la créance était alors de 6'845'372 fr. 95 en capital, frais et intérêts. Au sein de W._, le dossier a été pris en charge par X._, membre de la direction. Par courrier du 15 février 2001 adressé à la banque et à W._, le consortium contesta la cession ainsi que le montant articulé.
Le 20 mars 2003, W._ dénonça notamment ce prêt au remboursement pour cause de retard accumulé dans le paiement des intérêts et invita les trois membres du consortium à verser solidairement la somme de 6'722'152 fr. 55 jusqu'au 15 avril 2003. En date du 18 septembre 2003, le consortium s'acquitta d'un montant de 6'793'890 fr. 25 en faveur de W._.
B. En septembre 2004 puis en octobre 2005, les trois membres du consortium, agissant conjointement et solidairement, firent notifier chaque fois trois commandements de payer pour un montant de 3'600'000 fr. plus intérêts respectivement à W._, à X._ et à la banque, "notamment pour rupture abusive du crédit, actes illicites, inexécution contractuelle, enrichissement illégitime, culpa in contrahendo, dommage complémentaire 106 CO". Les commandements de payer furent frappés d'opposition; le consortium ne requit pas la mainlevée.
Le 20 juin 2006, les trois membres du consortium cédèrent à l'Association A._ (ci-après: A._) tous leurs droits, sous réserve des créances en tort moral, découlant du litige les opposant à la banque, à W._ et à X._.
Le 12 juillet 2006, W._, la banque et X._ ouvrirent action en constatation négative contre les trois membres du consortium devant le Tribunal de première instance de Genève. Ils conclurent à ce qu'il soit constaté qu'ils ne devaient pas tout ou partie des montants mis en poursuite.
En novembre 2006 puis encore ultérieurement, les trois membres du consortium ainsi que A._ envoyèrent à nouveau trois commandements de payer qui furent frappés d'opposition. Ils ne requirent pas la mainlevée.
Dans leur réponse à l'action judiciaire en constatation négative, les membres du consortium conclurent au rejet. A._ déposa une demande en intervention principale qui fut finalement déclarée recevable.
W._ cessa d'exister au 31 décembre 2009 (...). Z._ lui succéda à titre universel.
Le Tribunal de première instance (15e Chambre) admit l'action en constatation négative par jugement du 29 avril 2010. En conséquence, il constata que Z._, la banque et X._ ne devaient pas aux membres du consortium ni à A._ tout ou partie des montants mis en poursuite; il annula les poursuites correspondantes et ordonna à l'office des poursuites de les radier.
C. Les trois membres du consortium et A._ se pourvurent en appel, concluant au rejet de l'action négatoire de droit et à la constatation qu'ils sont créanciers de Z._, de la banque et de X._. Ces derniers conclurent au rejet de l'appel. Les appelants soutenaient qu'il y avait eu accord sur le fait que le solde du prêt était arrêté au 31 décembre 1999 à 6'294'885 fr. 75 en capital et intérêts, que la facturation des intérêts au taux annuel de 4% était suspendue jusqu'à atteindre le solde précité, que les loyers perçus devaient être affectés au remboursement de cette somme et que les amortissements étaient décalés dans le temps.
Statuant par arrêt du 13 juillet 2011, la Chambre civile de la Cour de justice rejeta l'appel, confirma le jugement entrepris, statua sur les dépens et débouta les parties de toutes autres conclusions. La Chambre retint en substance que les appelants basaient leur argumentation principalement sur l'accord décrit dans la lettre du 31 mai 2000, que la conclusion de cet accord n'avait toutefois pas été démontrée et que les relations des parties étaient donc toujours régies par le contrat du 9 avril 1996; sur la base des relevés de compte de la banque et de W._, la Chambre civile conclut que W._ était habilitée à dénoncer le prêt pour cause de retard dans le paiement des intérêts. Pour le surplus, la Chambre nia une gestion déficiente de la relation bancaire par la banque ou par W._ ainsi que la commission d'actes illicites par X._.
D. A._ et les trois membres du consortium (ci-après: les recourants) interjettent un recours en matière civile auprès du Tribunal fédéral. Ils concluent à ce que l'action négatoire soit rejetée et à ce qu'il soit constaté qu'ils sont les créanciers de Z._, de la banque et de X._ (ci-après: les intimés).
L'intimé X._ conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Les deux autres intimés s'en remettent à justice pour ce qui concerne la recevabilité du recours et concluent au rejet sur le fond. L'autorité précédente se réfère à son arrêt.
Le recours bénéficie de l'effet suspensif en vertu de l'ordonnance présidentielle rendue le 11 octobre 2011.

Considérant en droit:
1. Les recourants concluent non seulement au rejet de l'action négatoire de droit introduite par les intimés, mais aussi à la constatation positive qu'ils sont créanciers des intimés, conclusion déjà prise en instance d'appel.
La recevabilité de l'action en constatation négative déposée par les intimés n'est pas remise en cause; elle est partant acquise. Sur le fond, ce sont les recourants qui supportent le fardeau de la preuve. Il appartient à ceux-ci de prouver que la créance mise en poursuite existe à tout le moins partiellement, et non pas aux intimés d'apporter la preuve contraire que la créance n'existe pas ou n'est à tout le moins pas prouvée; les règles habituelles en matière de fardeau de la preuve (<ref-law>) s'appliquent indépendamment du rôle procédural des parties (<ref-ruling> consid. 3b; MAX KUMMER, in Berner Kommentar, 1962, n° 215 ad <ref-law>; DANIEL FÜLLEMANN, in Schweizerische Zivilprozessordnung (ZPO), DIKE-Kommentar, 2011, n° 21 ad <ref-law>).
Ainsi, le rejet de l'action négatoire de droit suppose la preuve que la créance litigieuse existe, en tout ou en partie, et implique donc la constatation positive de l'existence au moins partielle du droit litigieux (cf. <ref-ruling> consid. 3a i.f.). Les deux conclusions prises par les recourants sont équivalentes. Celle en constatation est donc également recevable (sur les conditions de l'action constatatoire, cf. par ex. <ref-ruling> consid. 2.2).
2. Les recourants demandent en premier lieu à ce que l'état de fait soit complété.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); en tant que cour suprême, il est instance de révision du droit et non pas juge du fait. Il peut certes rectifier ou compléter les faits s'ils ont été établis de façon manifestement inexacte, notion qui correspond à l'arbitraire, ou en violation du droit au sens de l'<ref-law>, ce pour autant que la correction soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 et art. 105 al. 2 LTF). Néanmoins, cette exception à la règle selon laquelle le Tribunal fédéral ne revoit pas les faits ne permet pas aux parties de rediscuter dans leurs mémoires les faits de la cause comme si elles plaidaient devant un juge d'appel. La partie recourante qui entend faire rectifier ou compléter un fait doit expliquer de manière circonstanciée en quoi les conditions pour le faire seraient réalisées (<ref-ruling> consid. 6.2); dans la mesure où le grief a trait au caractère arbitraire de l'établissement des faits, les exigences de motivation sont celles, plus strictes, de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 255; cf. au surplus infra, consid. 3).
En l'espèce, les explications très générales et parfois peu claires des recourants ne satisfont pas à ces exigences. Il ne suffit en particulier pas d'affirmer que certaines pièces sont cruciales pour prouver un accord modifiant les conditions initiales du prêt; il fallait au moins se référer précisément au contenu de ces pièces et démontrer concrètement les conclusions qui peuvent en être tirées et comment celles-ci sont susceptibles de conduire à un jugement différent. De surcroît, sous couvert de compléter l'état de fait, les recourants s'en prennent aussi à l'appréciation des preuves sans soulever ni étayer le grief d'arbitraire. Il y a donc lieu d'en rester à l'état de fait constaté par l'autorité d'appel dans l'arrêt attaqué.
3. Le recours doit être succinctement motivé (<ref-law>), ce qui suppose que le recourant discute au moins brièvement les considérants de l'arrêt attaqué (<ref-ruling> consid. 2.1); cette exigence est une condition de recevabilité (cf. <ref-law>). Le Tribunal fédéral n'examine donc en principe que les griefs invoqués et suffisamment motivés (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.2). La règle est absolue pour les griefs constitutionnels qui doivent être expressément invoqués et motivés (<ref-law>); pour ces griefs, l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits ou principes constitutionnels violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (<ref-ruling> consid. 3.2).
4. Les recourants se plaignent d'application arbitraire de l'art. 301 ancLPC/GE (loi de procédure civile genevoise du 10 avril 1987) en relation avec le refus opposé par la Chambre civile d'admettre les pièces nouvelles produites en appel, sur lesquelles ils n'apportent toutefois aucune précision. Cette disposition de droit cantonal, insérée dans le chapitre relatif à l'appel, avait la teneur suivante: "Les mémoires et, dans les limites de la loi, les pièces nouvelles sont produits avec autant de copies que de parties adverses [al. 1]. A défaut, le greffe impartit un bref délai pour y remédier [al. 2]."
L'application du droit cantonal ne peut être examinée que sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire. Il y a arbitraire en matière d'interprétation et d'application du droit si la violation est manifeste et reconnaissable d'emblée. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement se prononcer sur le caractère défendable de l'application ou de l'interprétation du droit cantonal qui a été faite. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (<ref-ruling> consid. 2.3 et 4.4.1).
Selon l'arrêt attaqué, les pièces refusées se rapportaient à des faits nouvellement allégués en appel et qui étaient antérieurs à la clôture de la procédure probatoire en première instance. La Chambre civile a jugé que l'allégation de ces faits nouveaux était irrecevable pour cause de tardiveté et que les pièces nouvellement produites n'avaient aucune portée probante dès lors qu'elles tendaient à prouver des faits dont il ne pouvait être tenu compte. Tout d'abord, les recourants ne démontrent pas qu'il était arbitraire de considérer ces faits comme nouveaux. Ils se limitent à contester cette qualification de façon appellatoire, sans indiquer à quels allégués de leurs écritures déposées en première instance les faits litigieux pourraient correspondre; même si ceux-ci se rapportaient à un dommage allégué à temps sous forme de différents postes chiffrés, cela n'excluait pas qu'ils soient nouveaux. Par ailleurs, les recourants n'invoquent ni a fortiori ne démontrent que le refus de prendre en considération des faits nouveaux constituait une violation arbitraire du droit de procédure cantonal applicable en l'espèce. Enfin, ils ne démontrent pas non plus qu'il y avait arbitraire à retenir que les pièces refusées se rapportaient à des faits nouveaux irrecevables. Il y a donc lieu d'en rester à la constatation de la Chambre civile selon laquelle les pièces nouvelles devaient prouver des faits nouveaux irrecevables. Ces pièces étaient ainsi inutiles pour statuer sur l'appel, et on ne discerne pas en quoi le refus d'accepter leur production serait inconciliable avec l'art. 301 ancLPC/GE. La distinction qu'entendent faire les recourants entre pièces nouvelles à l'appui de faits nouveaux et pièces nouvelles à l'appui de faits déjà allégués en première instance est à cet égard sans pertinence.
5. Dans le même contexte, les recourants se plaignent d'une violation du droit à la preuve découlant de l'<ref-law>. Un tel droit n'existe qu'à l'égard de faits pertinents et régulièrement allégués (<ref-ruling> consid. 3). Il n'y a pas violation de ce droit si une mesure probatoire est refusée à la suite d'une appréciation anticipée des preuves (<ref-ruling> consid. 2.6). La Chambre d'appel ayant constaté que les pièces litigieuses étaient inutiles, le sort du grief est scellé.
6. Les recourants se plaignent d'une violation de l'<ref-law>. Ils reprochent à la Chambre civile de ne pas avoir constaté que les parties au contrat de prêt avaient conclu un arrangement par lequel elles convenaient que le solde au 31 décembre 1999 était de 6'294'885 fr. 75; ils soutiennent que certains documents émis par la banque "valaient acceptation par actes concluants de leur proposition" faite le 9 septembre 1999. Bien qu'ils n'en disent mot, les recourants semblent en déduire qu'ils n'avaient pas d'intérêts à verser à partir de l'an 2000 et que le prêt ne pouvait donc pas être dénoncé en 2003 pour cause de retard dans le paiement des intérêts.
6.1 La proposition du 9 septembre 1999, que les recourants reproduisent in extenso, ne ressort pas de l'arrêt attaqué; il n'y est même pas fait la moindre référence. On peut toutefois déduire qu'elle correspondait pour l'essentiel au prétendu accord présenté dans la lettre du 31 mai 2000 et contesté le 16 juin 2000 par la banque.
La Chambre civile a retenu qu'il n'y avait jamais eu d'accord entre les parties par rapport au contenu de la lettre du 31 mai 2000; tout au plus la banque avait-elle accepté par courrier du 16 juin 2000 un moratoire dans le paiement des amortissements jusqu'au complet rétablissement de la situation initiale, ainsi qu'une renonciation à des indemnités de retard à hauteur de 47'826 fr. 45 au 31 décembre 1999. Pour le surplus, la banque avait toujours contesté les exigences du consortium quant aux conditions du crédit. Il s'agit là de constatations de fait qui lient la cour de céans, les recourants n'ayant pas affirmé ni a fortiori démontré qu'elles étaient entachées d'arbitraires. En se plaignant uniquement d'une violation de l'<ref-law>, les recourants se placent d'ailleurs eux-mêmes sur le plan du seul droit matériel.
6.2 La question soulevée par les recourants est celle de l'interprétation de pièces émises par la banque selon le principe de la confiance, principe dont l'application est une question de droit que le Tribunal fédéral revoit librement. Il s'agit de rechercher comment une déclaration ou une attitude d'une partie pouvait être comprise de bonne foi par la partie adverse en fonction de l'ensemble des circonstances (<ref-ruling> consid. 3.2).
Sous réserve d'une attestation qui sera évoquée ci-dessous, les documents de la banque invoqués par les recourants (pièces 20, 22 et 23 de leur bordereau de première instance) n'ont pas été retenus dans l'arrêt attaqué; leur contenu n'y est pas repris et il n'en est même pas fait mention. La question d'une violation du principe de la confiance lors de l'interprétation de pièces qui n'ont pas été retenues ne se pose pas.
A cela s'ajoute que la critique est irrecevable faute de motivation suffisante. Les recourants ne décrivent pas le contenu des pièces invoquées; ils se contentent d'indiquer le numéro des pièces au bordereau. En outre, ils n'expliquent pas en quoi le principe de la confiance impliquait qu'ils pouvaient et devaient déduire de bonne foi de ces pièces que la banque avait accepté de modifier le contrat de prêt, notamment sur la question de l'échéance des intérêts ou de l'obligation même d'en payer; à cet égard, il ne suffit pas de dire qu'une attestation fiscale mentionne un solde de 6'379'857 fr. 75 [sic] au 31 décembre 1999 (compte 2003.24.60), auquel il convient de déduire 50'087 fr. 70 correspondant à un autre crédit (compte 1240 (...).
Au demeurant, cette pièce (n° 21) adressée au recourant C._, que l'arrêt évoque brièvement, constitue un simple avis sans signature établi pour le fisc et se rapportant au seul compte 2003 (...); il y est relevé un solde au 31 décembre 1999 de 6'376'857 fr. 75 (et non pas 6'294'885 fr. 75) ainsi que des intérêts débiteurs de 191'305 fr. 70 et une indemnité de retard de 31'884 fr. 30. On ne discerne pas sans autre en quoi le principe de la confiance impliquait d'en déduire un accord implicite à une modification du contrat de prêt qui permettrait de nier l'existence d'un juste motif de résiliation immédiate.
7. Les recourants se plaignent ensuite d'une violation de l'<ref-law>; l'exposé est confus. Dans la mesure où la critique se fonde sur un état de fait différent de celui retenu par la Chambre civile, à savoir une modification du contrat de prêt, la critique est irrecevable.
Pour le surplus, les recourants reprochent à la banque divers manquements, à savoir une longue suite de renseignements demandés et jamais fournis, d'erreurs de gestion du dossier, d'attestations fiscales jamais établies, de promesses et d'engagements démentis ou trahis, d'affirmations douteuses et autres. Rien de tel n'a toutefois été retenu en fait dans l'arrêt attaqué, qui souligne qu'une gestion déficiente de la relation bancaire n'a pas été établie; il s'ensuit l'irrecevabilité de la critique fondée sur un état de fait non constaté par l'autorité cantonale. On ne discerne du reste pas en quoi ces manquements, s'ils étaient avérés, auraient interdit à la banque, respectivement à son successeur légal, de dénoncer le prêt pour cause de retard dans le paiement des intérêts; il ne saurait y avoir de compensation en ce sens que la violation d'obligations accessoires par le prêteur dispenserait l'autre partie du paiement des intérêts contractuels.
8. Les recourants se plaignent d'une violation de l'<ref-law>. A titre de motivation, ils se limitent à relever avoir allégué en première instance que l'intimé X._ avait exercé des pressions indues sur deux d'entre eux, pressions constituant des actes illicites susceptibles d'engager la responsabilité extracontractuelle de cet intimé; une telle motivation n'est pas sérieuse. Quoi qu'il en soit, la Chambre civile a constaté, sans faire l'objet sur ce point d'un grief d'arbitraire, que les actes en question n'avaient en rien été établis; cela scelle le sort du grief.
9. Les recourants se plaignent enfin d'une violation de l'<ref-law> à un autre titre. Ils reprochent à la Chambre civile d'avoir renversé le fardeau de la preuve et méconnu qu'il incombait aux intimés de démontrer l'absence de manquement à leurs devoirs contractuels dès lors qu'ils agissaient en constatation négative. Il n'en est toutefois rien; il a déjà été relevé que les règles habituelles en matière de fardeau de la preuve s'appliquent en l'espèce indépendamment du rôle procédural des parties (supra, consid. 1). Pour le surplus, la motivation du grief consiste essentiellement à reprendre une fois encore les mêmes critiques de fait; il n'y a pas à y revenir.
10. Le recours, à la limite de la témérité, ne peut qu'être rejeté dans la mesure où il est recevable. Les recourants supportent solidairement les frais et les dépens des intimés représentés par un avocat (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF). S'agissant de l'intimé Z._, il a succédé à W._ qui avait elle-même repris certains actifs de la banque ..., laquelle ne dispose pas d'un monopole et se trouve en concurrence avec d'autres entreprises privées; l'intimé n'a ainsi pas agi dans l'accomplissement d'une tâche de droit public au sens de l'<ref-law> et a droit à une indemnité à titre de dépens. Aucune indemnité n'est en revanche due à la banque intimée, qui n'a pas conclu à l'allocation de dépens et a procédé en son nom propre, conjointement avec l'intimé Z._.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 21'000 fr., sont mis à la charge des quatre recourants, solidairement entre eux.
3. Les quatre recourants sont condamnés solidairement à verser à l'intimé Z._une indemnité de 23'000 fr. à titre de dépens.
4. Les quatre recourants sont condamnés solidairement à verser à l'intimé X._ une indemnité de 23'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 8 décembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti