Faits: A. X._ était propriétaire de plusieurs parcelles à ... (GE), notamment la parcelle N° 1 d'une surface de 2'935 m2. Par acte notarié du 5 octobre 2000, X._ a accordé à M._ un droit d'emption sur une surface de 1'286 m2 à détacher de la parcelle N° 1, correspondant à la sous-parcelle N° 2. Le droit d'emption permettait d'acquérir la sous-parcelle pour le prix de 400'000 fr. pendant une durée initiale d'une année, prolongée par la suite, en dernier lieu jusqu'au 21 décembre 2007. Il a été convenu que ce droit d'emption était cessible. Par acte notarié du 16 octobre 2002, M._ a cédé son droit d'emption, pour le prix de 50'000 fr., aux époux H.Z._ et F.Z._. Le 27 novembre 2002, un architecte a évalué l'ensemble de la parcelle N° 1 à 3'425'000 fr., soit 1'425'000 fr. pour la parcelle N° 2 (ou N° 1 A) et 2'000'000 fr. pour les parcelles N°s 3 et 4 (ou N°s 1 B et 1 C). Par avis du 5 septembre 2003, l'office des poursuites a annoncé que, pour une créance indépendante des faits relatés ci-dessus, les immeubles inscrits au registre foncier au nom de X._, soit notamment l'ensemble de la parcelle N° 1, seraient vendus aux enchères publiques le 18 novembre 2003. L'estimation de l'office pour la parcelle N° 1 se montait à 1'700'000 fr. (et non 3'425'000 fr. comme l'avait évalué un architecte le 27 novembre 2002). Dans ces circonstances particulières, une négociation s'est ouverte entre X._ et son fils D.X._, d'une part, et les époux Z._, d'autre part. Chacune des parties était assistée d'un avocat. X._ et D.X._ avaient pour conseil l'avocat T._. Le 7 novembre 2003, une convention a été conclue entre les époux Z._ d'une part et X._ et D.X._ d'autre part. Selon cette convention, les époux Z._ (qui disposaient du crédit nécessaire pour obtenir un prêt bancaire) s'engageaient à payer à l'office des poursuites le solde réclamé, soit 1'336'887 fr. 15. Ce versement devait être considéré comme un prêt aux consorts X._. Parallèlement, les époux Z._ exerçaient le droit d'emption qui leur avait été cédé et acquéraient la parcelle N° 2 pour le prix convenu, soit 400'000 fr. Ce prix devait être acquitté à raison de 100'000 fr. en mains du notaire et à raison de 300'000 fr. par imputation sur le montant du prêt, de sorte que les consorts X._ reconnaissaient devoir aux époux Z._ la somme de 1'036'887 fr. 15 (1'336'887 fr. 15 ./. 300'000 fr.). Cette somme leur était prêtée par les époux Z._ au taux de 4 % l'an et devait être remboursée après une durée maximale d'un an. Après cette échéance, la somme due devait porter intérêt au taux légal de 5 % ou au taux bancaire appliqué aux époux Z._ si celui-ci était alors plus élevé. Cette convention du 7 novembre 2003 a été signée par les époux Z._ et par D.X._ en son nom et pour le compte de X._, qui avait délivré à son fils une procuration à cet effet. Par acte notarié du 11 novembre 2003, X._ a vendu aux époux Z._ la parcelle N° 2 pour le prix de 400'000 fr. L'acte, instrumenté par le notaire R._, a été signé par X._ lui-même. En novembre 2003, les époux Z._ ont versé, par l'intermédiaire du notaire, le montant de 1'336'887 fr. 15 à l'office des poursuites, de sorte que la vente aux enchères forcée des parcelles a été annulée. En garantie de leur prêt, les époux Z._ ont obtenu des consorts X._ deux cédules hypothécaires, l'une portant sur la parcelle N° 3 et l'autre sur la parcelle N° 4. Le 15 novembre 2004, l'avocat des époux Z._ a mis en demeure X._ et D.X._ de rembourser le prêt avec les intérêts. Les époux Z._ ont introduit contre X._ et D.X._ des poursuites ordinaires et des poursuites en réalisation de gage; ils ont obtenu la mainlevée des oppositions faites. Ils ont cependant retiré ces poursuites le 7 août 2006 à la suite d'un nouvel accord intervenu entre les parties le 20 décembre 2005. Il était alors envisagé que la parcelle N° 5, issue d'une fusion des parcelles N°s 3 et 4, soit vendue à une société anonyme; les époux Z._ tenaient à ce que le produit de cette vente serve en priorité au remboursement de leur créance. Cette nouvelle convention, datée du 20 décembre 2005, a été conclue entre les époux Z._, X._ et D.X._ ainsi que la société anonyme qui devait acquérir la parcelle N° 5. Les consorts X._ reconnaissaient être conjointement et solidairement débiteurs envers les époux Z._ d'un montant total de 1'143'304 fr. 02. Il était prévu une mutation parcellaire, la radiation des droits d'emption inscrits en faveur de M._, le désintéressement partiel des époux Z._ au moyen d'un prêt bancaire octroyé aux consorts X._, une promesse d'achat-vente entre la société et les consorts X._ pour la parcelle N° 5, le produit de cette vente devant être affecté en priorité au remboursement de la dette des consorts X._ envers les époux Z._, et l'octroi d'un crédit additionnel aux consorts X._ pour régler définitivement le solde de leur dette à l'égard des époux Z._, après la vente immobilière et la constitution de deux cédules hypothécaires. Par acte notarié du 20 décembre 2005 et du 18 janvier 2006, instrumenté par la notaire S._, X._ et D.X._ se sont engagés irrévocablement à affecter prioritairement le produit de la vente de la parcelle N° 5, dès sa vente définitive réalisée, au remboursement de la dette contractée conjointement et solidairement entre eux envers les époux Z._. Le 28 décembre 2005, une somme de 110'000 fr. a été remboursée aux époux Z._ par l'intermédiaire d'une banque. Par acte des 15 et 21 mars 2006 dressé par la notaire S._, D.X._, agissant au nom et pour le compte de X._, s'est engagé à constituer une cédule hypothécaire grevant la parcelle N° 5 en faveur des époux Z._. Cette cédule a été établie le 23 mars 2006 et remise aux époux Z._. La parcelle N° 5 n'a finalement pas été vendue à la société anonyme. X._ est décédé le 23 janvier 2008, laissant pour héritiers légaux son épouse A.X._ et ses enfants B.X._, C.X._ et D.X._ (ci-après: les hoirs de X._). Le 15 septembre 2008, le notaire chargé de dresser l'inventaire des biens de la succession a informé les époux Z._ que leur créance était contestée par les héritiers de X._. Par courrier du 29 septembre 2008, le conseil de l'hoirie de X._ a précisé que les conventions des 7 novembre 2003 et 20 décembre 2005 étaient considérées comme nulles pour cause de lésion et que X._, qui n'avait pas signé la première convention (laquelle avait été signée pour lui par son fils D.X._), n'avait plus la capacité de discernement nécessaire pour comprendre la seconde. Les époux Z._ ont introduit contre l'hoirie de X._ et D.X._ de nouvelles poursuites ordinaires et en réalisation de gage; ils ont obtenu la mainlevée provisoire des oppositions des poursuivis, en dernière instance par trois arrêts de la Cour de justice du canton de Genève rendus le 4 mars 2010. B. Par acte déposé le 12 avril 2010 devant le Tribunal de première instance de Genève, les hoirs de X._ ainsi que D.X._ ont formé une action en libération de dette, concluant à ce qu'il soit constaté qu'ils ne devaient pas aux époux Z._ la somme de 1'036'887 fr. 15 avec intérêts, sous déduction de 110'000 fr. versés le 28 décembre 2005, ainsi que les sommes de 843 fr. 40 et de 6'300 francs. Ils ont invoqué l'incapacité de discernement de X._, puis, dans une écriture du 18 mars 2011, celle de D.X._. Ils ont soutenu que les actes étaient nuls au sens de l'art. 20 CO pour cause d'usure, et que le remboursement n'était dû, de toute manière, qu'après la vente de la parcelle N° 5 à la société anonyme. Les époux Z._ ont conclu au déboutement des demandeurs en libération de dette. Par jugement du 30 mai 2011, le Tribunal de première instance a débouté les demandeurs des fins de leur action en libération de dette. Saisi d'un appel formé par l'hoirie de X._ ainsi que par D.X._, la Cour de justice genevoise, par arrêt du 11 juillet 2012, a confirmé le jugement attaqué. C. Les hoirs de X._ ainsi que D.X._ exercent un recours en matière civile au Tribunal fédéral. Invoquant une violation du droit d'être entendu (art. 6 par. 1 CEDH et art. 29 al. 2 Cst.), une appréciation anticipée arbitraire des preuves (art. 9 Cst.), ainsi qu'une violation des art. 18 CO, 18 CC et 20 CO, ainsi que 116 CO, ils concluent à ce que la cause soit renvoyée au Tribunal de première instance pour entendre des témoins et, subsidiairement, à ce que leur action en libération de dette soit admise. Leur requête d'effet suspensif a été rejetée par ordonnance présidentielle du 15 octobre 2012. Les intimés, agissant conjointement, proposent le rejet du recours dans la mesure où il est recevable. Les parties ont répliqué et dupliqué.