Faits:
A. Dans le courant de l'année 2008, A._ a acheté 14 tapis d'orient à la société X._ SA, sise à Genève. Le prix convenu était de 1'293'000 fr., ce qui représentait un rabais commercial par rapport aux montants étiquetés sur les tapis (1'824'300 fr.). L'acheteur s'est acquitté de sa dette à concurrence de 1'243'000 fr. Il n'a jamais pris possession des tapis. Sur requête de l'acheteur, la vendeuse a établi quatorze certificats de garantie à des fins d'assurance; datés du 19 novembre 2009, ils indiquent une valeur totale de 1'824'300 fr.
Par courrier du 17 février 2010, le conseil de l'acheteur a informé la vendeuse qu'un professionnel avait examiné la valeur des tapis et avait conclu à une tromperie. Au nom de son client, l'avocat déclarait invalider le contrat et mettait la vendeuse en demeure de rembourser l'argent touché dans un délai échéant le 4 mars 2010. La vendeuse a intégralement contesté la teneur du courrier. Elle a sommé l'acheteur de payer le solde du prix de vente et de lui rembourser des frais d'assurance; en outre, elle lui a imparti un délai pour désigner un lieu à Genève où elle puisse livrer la marchandise.
B. B.a Le 16 avril 2010, l'acheteur a actionné la vendeuse devant le Tribunal de première instance du canton de Genève. Il concluait au paiement de 1'243'000 fr. et requérait au préalable la désignation d'un expert pour évaluer la valeur réelle des tapis. En droit, il invoquait le dol au sens de l'<ref-law>, tenant à la différence entre la valeur réelle des tapis et le prix convenu par les parties; l'acheteur plaidait qu'en se fondant sur l'évaluation de 1'824'300 fr. indiquée par la vendeuse, il n'avait aucun moyen de se douter que le prix convenu (1'293'000 fr.) était encore largement surévalué. A l'appui du motif d'invalidation était allégué ce qui suit:
"En début d'année 2010, M. A._ a soumis la photo de l'un de ces tapis à une connaissance active sur ce marché. Celle-ci indiquait au demandeur avoir récemment vendu un exemplaire identique pour la somme de Frs 6'000.-. M. A._ avait cependant acheté ce tapis Frs 130'000.-".
La vendeuse a conclu au rejet et, à titre reconventionnel, au paiement de 60'143 fr. 20.
Par jugement du 15 septembre 2011, le tribunal a refusé d'ordonner l'expertise requise et a rejeté l'action principale. Il a admis l'action reconventionnelle à concurrence de 50'000 fr., correspondant au solde impayé du prix de vente.
B.b L'acheteur a déféré cette décision à la Chambre civile de la Cour de justice, en réitérant sa demande d'expertise. L'autorité précitée a refusé la mesure probatoire et a rejeté l'appel par arrêt du 25 mai 2012.
C. L'acheteur (ci-après: le recourant) saisit le Tribunal fédéral d'un recours en matière civile, dans lequel il conclut au paiement de 1'243'000 fr. et au rejet de l'action reconventionnelle.
La vendeuse (ci-après: l'intimée) conclut au rejet du recours. L'autorité précédente se réfère à son arrêt.
Par ordonnance du 9 octobre 2012, la Présidente de la Cour de céans a rejeté la demande d'effet suspensif formée par le recourant.

Considérant en droit:
1. 1.1 La valeur litigieuse minimale de 30'000 fr. requise pour l'exercice du recours en matière civile est manifestement atteinte dans le cas d'espèce (<ref-law>). Les autres conditions de recevabilité de ce recours sont également réalisées sur le principe.
1.2 Le recours peut être formé pour violation du droit fédéral (<ref-law>), notion qui inclut le droit constitutionnel. Le recourant ne peut pas se plaindre d'une violation du droit cantonal en tant que telle, mais peut plaider que l'application de ce droit contrevient au droit fédéral en ce sens qu'elle est arbitraire (art. 9 Cst.) ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 1.2).
Le Tribunal fédéral n'examine la violation des droits constitutionnels ou du droit cantonal que si le grief a été invoqué et motivé par le recourant (<ref-law>). Pour se conformer au principe d'allégation, l'acte de recours doit contenir un exposé succinct des droits ou principes violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.2).
2. 2.1 Le recourant reproche à la cour cantonale de ne pas avoir donné suite à sa demande d'expertise tendant à déterminer la valeur réelle des tapis; un tel refus contreviendrait aux art. 29 al. 2 Cst., 8 CC, 152 et 183 CPC.
2.2 Le droit à la preuve peut se déduire aussi bien de l'art. 29 al. 2 Cst. que de l'<ref-law>, lequel trouve application lorsque sont en cause, comme en l'espèce, des prétentions découlant du droit privé fédéral (cf. par ex. arrêt 5A_620/2007 du 7 janvier 2010 consid. 6.1 et 6.2, in RNRF 2011 57).
L'<ref-law> confère un droit à la preuve pour autant que le justiciable cherche à établir un fait pertinent pour l'appréciation juridique de la cause et qu'il propose une mesure probatoire adéquate, régulièrement offerte dans les formes et délais prévus par la loi de procédure applicable. Le juge peut refuser une mesure probatoire lorsqu'il est parvenu à se forger une conviction exempte d'arbitraire sur la base des preuves déjà recueillies et qu'il conclut sans arbitraire que la mesure requise ne conduirait pas à modifier sa conviction (<ref-ruling> consid. 5.3; <ref-ruling> consid. 7.1; <ref-ruling> consid. 2.6; <ref-ruling> consid. 2a).
L'<ref-law> n'impose pas de modes de preuve. Avant l'unification de la procédure civile, ceux-ci relevaient en principe du droit cantonal (JEAN-FRANÇOIS POUDRET, in Commentaire de la loi fédérale d'organisation judiciaire, vol. II, 1990, n°s 4.4.2 et 4.5.1 ad art. 43 OJ). Ils sont désormais énoncés à l'<ref-law>, qui prévoit entre autres la preuve par expertise (<ref-law>).
Lorsque le justiciable émet une prétention de droit matériel fédéral, celui-ci détermine le degré de précision que doit revêtir l'état de fait pour que la subsomption avec la règle invoquée puisse s'opérer. Ceci dit, c'est une question de procédure que de définir la manière dont l'état de fait doit être établi; une telle réglementation relevait donc en principe du droit cantonal jusqu'à l'entrée en vigueur du CPC. S'il consacrait la maxime des débats, le législateur cantonal précisait à quelles conditions les allégations de fait devaient être introduites. Il pouvait en particulier exiger que les allégués soient exposés au préalable et refuser qu'ils soient encore précisés dans la procédure probatoire; une telle exigence n'était pas considérée comme une entrave à l'application du droit matériel fédéral (<ref-ruling> spéc. consid. 2d et 3).
2.3 En l'occurrence, les deux instances cantonales ont examiné la requête d'expertise à l'aune de l'ancienne loi de procédure civile du canton de Genève (aLPC/GE), au motif que la procédure de première instance était encore en cours à l'entrée en vigueur du code fédéral (<ref-law>).
L'art. 255 al. 1 aLPC/GE autorise la preuve par expertise aux conditions suivantes: "Pour s'éclairer sur une question de fait qui requiert l'avis d'un spécialiste, le juge peut ordonner qu'il soit procédé à une expertise". Selon la doctrine, le fait nécessitant le recours à un spécialiste doit être allégué avec précision, en temps utile et doit être pertinent, auquel cas la partie qui l'allègue dispose d'un droit à l'ordonnance d'une expertise. Cette mesure a un caractère subsidiaire par rapport à l'enquête par témoins; l'on ne saurait y recourir pour remédier à l'absence de preuve portant sur des faits de nature non technique. Par ailleurs, l'expertise "investigatoire", destinée à pallier les carences des parties dans l'allégation des faits pertinents ou à suppléer à l'absence de preuve, est proscrite (arrêt attaqué, p. 8; BERTOSSA/GAILLARD/GUYET/SCHMIDT, Commentaire de la loi de procédure civile, vol. II, n° 4 ad <ref-law>).
Après avoir rappelé ces principes théoriques, la cour d'appel s'est référée à l'allégué précité se rapportant au motif d'invalidation (supra, let. Ba). Elle a constaté que l'acheteur avait fait à ce sujet des déclarations contradictoires. Il n'avait pas proposé l'audition de la personne évoquée dans son allégation, ni produit la moindre pièce. Pour le surplus, il n'avait pas fourni d'estimation de la valeur des tapis faite par un professionnel de la branche. L'acheteur n'avait ainsi pas démontré avoir subi un dol. L'expertise était un moyen de preuve subsidiaire par rapport à l'enquête par témoins; elle ne pouvait pallier l'absence de preuve concernant des faits de nature non technique, comme en l'espèce. A l'instar du premier juge, il fallait admettre que l'allégué de l'acheteur n'était pas précis ni pertinent. Le tribunal de première instance avait notamment relevé que le recourant, bien que dûment interpellé, n'avait pas pu préciser lequel des 14 tapis était concerné par son allégué, qui ne justifiait en aucune façon d'entreprendre une expertise de la totalité des tapis. La requête poursuivait un but investigatoire proscrit par la doctrine et la jurisprudence.
2.4 Le recourant objecte que les premiers juges ont refusé l'expertise pour des motifs "étranges" qui relèveraient désormais de "l'histoire du droit". Quant à la Cour de justice, qui statuait sous la nouvelle procédure fédérale, elle aurait méconnu le fait que le CPC ne consacre aucune hiérarchie des moyens de preuve. L'on ne saurait nier que la valeur d'un tapis d'orient est un fait technique nécessitant des connaissances spéciales; la preuve par expertise prévue à l'<ref-law> serait la seule adéquate pour ce type de fait. Par ailleurs, le recourant se serait montré suffisamment précis dans ses allégations. Dans ses conclusions motivées du 17 juin 2011, il aurait indiqué quelles questions devaient être posées à l'expert, en rappelant que tout l'objet du litige portait sur le fait que la valeur réelle des tapis était largement inférieure au prix payé.
2.5 Le grief pose tout d'abord la question du droit applicable. Il est exact que l'appel contre le jugement de première instance était régi par le CPC dès lors que cette décision avait été communiquée aux parties après le 1er janvier 2011 (<ref-law>). Cela étant, le recourant n'a pas invoqué des faits et moyens de preuve nouveaux, auquel cas leur admissibilité aurait dû être examinée selon la nouvelle procédure (<ref-law>; cf. DENIS TAPPY, in Code de procédure civile commenté, 2011, n°s 14 et 25 ad <ref-law>). Le recourant a bien plutôt renouvelé une offre de preuve déjà faite en première instance. Or, l'<ref-law> ne saurait conduire à ce que le juge d'appel examine à l'aune du nouveau droit de procédure la régularité des allégations et offres de preuve faites en première instance, alors que le premier juge était tenu de par l'<ref-law> d'appliquer l'ancien droit cantonal (cf. TAPPY, op. cit., n° 24 s. ad <ref-law>; IVO SCHWANDER, in Schweizerische Zivilprozessordnung, DIKE-Kommentar, 2011, n° 5 i.f. ad <ref-law>; FRIDOLIN WALTHER, Das Übergangsrecht zur neuen ZPO - offene Fragen und mögliche Antworten, RSPC 2010 p. 416). La Cour de justice devait donc bel et bien statuer sur la requête d'expertise au regard de l'ancienne procédure cantonale.
2.6 Le recourant est parti de la prémisse erronée que la Cour de justice devait appliquer le nouveau code fédéral. En conséquence, il n'a pas formulé de grief d'arbitraire dans l'application de l'ancienne procédure civile genevoise, en particulier dans l'application de l'art. 255 aLPC/GE. Il ne reproche pas non plus à l'autorité précédente d'avoir versé dans le formalisme excessif (art. 29 al. 1 Cst.; cf. <ref-ruling> consid. 5). A défaut de grief invoqué et motivé par le recourant (cf. supra, consid. 1.2), la cour de céans ne saurait contrôler l'application du droit de procédure cantonal.
A la lecture de l'arrêt attaqué, l'on ne peut exclure que la Cour de justice ait refusé l'expertise aussi en raison d'une appréciation anticipée des preuves - ou plus exactement, de l'absence de preuves recueillies. L'autorité précédente paraît accorder de l'importance au fait que le recourant a donné des explications contradictoires et n'a fourni aucun indice de preuve sur les circonstances qui l'auraient conduit à réaliser que le prix était manifestement surfait. Quoi qu'il en soit, le recourant n'a pas non plus soulevé le grief d'arbitraire dans l'appréciation des preuves, de sorte qu'il n'y a pas à examiner cette question.
2.7 En bref, les juges précédents ont refusé la mesure probatoire au motif que l'offre de preuve n'avait pas été faite conformément à la procédure genevoise, et peut-être aussi parce qu'ils la jugeaient inapte à modifier leur conviction. La cour de céans est liée par cette (ou ces) analyse(s), faute de griefs formulés valablement par le recourant. Or, à défaut d'offre de preuve régulière, respectivement en l'absence d'arbitraire dans l'appréciation anticipée des preuves, l'on ne saurait retenir de violation du droit à la preuve au sens de l'<ref-law>. Il s'ensuit le rejet du grief.
3. Le recourant reproche encore à la Cour de justice d'avoir considéré à tort, dans la perspective d'une éventuelle action en garantie pour les défauts de la chose vendue, qu'il avait accepté les tapis au sens de l'<ref-law>.
La requête d'expertise a été rejetée pour d'autres motifs. Par ailleurs, le recourant ne prétend à juste titre pas que le point critiqué a une incidence sur l'exigibilité du prix (cf. <ref-law> et <ref-ruling> consid. 3.2.1). Il ne soutient pas non plus que l'état de fait de l'arrêt attaqué permettrait de retenir l'existence de défauts. Dans ces circonstances, il n'est pas nécessaire d'examiner le grief.
Enfin, le recourant ne plaide pas qu'un motif autre que l'invalidation de la vente sous-tendrait ses conclusions en rejet de l'action reconventionnelle. L'arrêt attaqué ne peut qu'être confirmé sur ce point également.
4. En définitive, le recours est rejeté.
Les frais judiciaires sont mis à la charge du recourant, qui versera à l'intimée une indemnité de dépens (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 9'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 13 novembre 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti