Sachverhalt:
A. Am 23. Oktober 2008 erwarb X._ die Liegenschaft Q._ in Rümlang. Dieses Grundstück war ihm von der W._ AG vermittelt worden, wobei deren Angestellter, A._, in dieser Angelegenheit zuständig gewesen war. X._ beabsichtigte, die Liegenschaft zu sanieren. Da das Projekt nicht erfolgsversprechend schien, beauftragte er mit Maklervertrag vom 6. Juli 2009 die Y._ AG mit dem Verkauf der Liegenschaft. Alleinaktionär, einziger Verwaltungsrat und Geschäftsführer der Y._ AG ist und war X._. Schon zuvor, d.h. seit Anfang 2009, hatte das Verkaufsteam der Y._ AG nach möglichen Interessenten für die Liegenschaft Ausschau gehalten.
Am 27. Juli 2009 verkaufte X._ die Liegenschaft zum Preis von Fr. ... an B._. Im Zusammenhang mit dem Verkauf der Liegenschaft bezahlte X._ der Y._ AG eine Maklerprovision von Fr. ...
B. Am 11. November 2010 auferlegte die Grundsteuerkommission der Gemeinde Rümlang X._ eine Grundstückgewinnsteuer in der Höhe von Fr. ... Die an die Y._ AG bezahlte Maklerprovision anerkannte sie nicht als Aufwendung bei den Anlagekosten, da der Käufer B._ nicht durch die Maklerin (Y._ AG) zugeführt worden sei.
Eine Einsprache von X._ wies die Grundsteuerkommission am 28. April 2011 ab. X._ rekurrierte ohne Erfolg beim Steuerrekursgericht des Kantons Zürich (Entscheid vom 24. Januar 2012). Eine Beschwerde von X._ wies das Verwaltungsgericht am 22. August 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._, der Entscheid des Verwaltungsgerichts des Kantons Zürich vom 22. August 2012 sei aufzuheben und die Angelegenheit zum Neuentscheid an die Vorinstanz zurückzuweisen; eventualiter sei die Grundstückgewinnsteuer von Fr. ... auf Fr. ... herabzusetzen.
Die Gemeinde Rümlang, das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich beantragen, die Beschwerde sei abzuweisen (soweit darauf einzutreten sei).
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Verwaltungsgerichts des Kantons Zürich über die Grundstückgewinnsteuer ist zulässig (Art. 82 f., Art. 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 73 des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden vom 14. Dezember 1990 [SR 642.14]). Der Beschwerdeführer ist durch den angefochtenen Entscheid berührt und zur Beschwerde legitimiert (Art. 89 lit. a BGG).
1.2 Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es im Rahmen der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2, Art. 106 Abs. 2 BGG) grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254). Die Verletzung von Grundrechten und von kantonalem Recht ist nur zu prüfen, wenn eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; zum Ganzen BGE 135 III 397 E. 1.4 S. 400; 133 II 249 E. 1.4.1 f. S. 254 mit Hinweisen).
1.3 Der von der Vorinstanz festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich, soweit er nicht offensichtlich unrichtig festgestellt worden ist oder die Feststellung auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. In der Beschwerdeschrift ist darzulegen, inwiefern die Feststellung offensichtlich unrichtig, d.h. willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen ist (BGE 133 II 249 E. 1.4.3 S. 254 f.; 137 I 58 E. 4.1.2 S. 62; 134 V 53 E. 4.3 S. 62).
2. 2.1 Gemäss § 216 Abs. 1 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 (StG) wird die Grundstückgewinnsteuer von den Gewinnen erhoben, die sich bei Handänderungen an Grundstücken oder Anteilen von solchen ergeben. Steuerbarer Grundstückgewinn ist nach § 219 Abs. 1 der Betrag, um den der Erlös die Anlagekosten (Erwerbspreis und Aufwendungen) übersteigt. Zu den anrechenbaren Aufwendungen gehören nach § 221 Abs. 1 lit. c StG u.a. "übliche Mäklerprovisionen ... für Erwerb und Veräusserung". Darunter ist der Maklerlohn im Sinne von Art. 413 ff. OR zu verstehen. In der Praxis wird vorausgesetzt, dass tatsächlich ein Maklervertrag im Sinne von Art. 412 OR abgeschlossen wird, in Ausführung dieses Vertrags der Makler eine zum Verkauf führende Nachweis- oder Vermittlungstätigkeit entfaltet hat und dass ein Maklerlohn im Sinne von Art. 413 OR, beschränkt auf einen angemessenen Betrag, tatsächlich geleistet oder anerkannt worden ist (Urteil P.679/1978 vom 14. April 1978 E. 2a, in: ASA 48 S. 441; 2P.383/1997 vom 13. August 1999 E. 2; RICHNER/FREI/ KAUFMANN/MEUTER, Kommentar zum harmonisierten Zürcher Steuergesetz, 2. Auf. 2006, N. 79 zu § 221). Nachweis- und Vermittlungsmakler unterscheiden sich darin, dass sich die Tätigkeit des Nachweismaklers auf die Mitteilung eines oder mehrerer konkret bestimmter Abschlussgelegenheiten beschränkt, während der Vermittlungsmakler auf den Vertragsabschluss aktiv hinwirkt. In beiden Fällen ist gemäss der dispositiven Bestimmung in Art. 413 Abs. 1 OR der Maklerlohn verdient, sobald der Vertrag infolge des Nachweises oder der Vermittlung des Maklers zustande gekommen ist (CATERINA AMMANN, in: Basler Kommentar, Obligationenrecht I, 5. Auflage 2011, N. 8 zu Art. 413 OR; JOSEF HOFSTETTER, in: Schweizerisches Privatrecht, Bd. VII/6, 2000, S. 174, 181; MATTHIAS STREIFF, Handkommentar zum Maklervertrag, 2009, S. 79; TERCIER/FAVRE/PEDRAZZINI, Les contrats spéciaux, 4. Aufl. 2009, § 67 Rz. 5641 S. 853; BGE 114 II 357 E. 3; 106 II 224 E. 4; 97 II 355 E. 3).
2.2 Die Vorinstanz hat anerkannt, dass zwischen dem Beschwerdeführer und der Y._ AG am 6. Juli 2009 ein zivilrechtlich gültiger Maklervertrag für den Verkauf der Liegenschaft Q._ geschlossen worden ist. Sie hält aber entgegen, die entscheidenden Hinweise, die zum erfolgreichen Verkauf der Liegenschaft vom 27. Juli 2009 geführt hätten, seien nicht von der Y._ AG geliefert worden, sondern der Beschwerdeführer habe sich diese selbst verschafft. Der Beschwerdeführer habe sich an A._ gewandt, um von ihm die Namen derjenigen Personen zu erfahren, die sich bei der Vermittlung der Liegenschaft durch die W._ AG im Jahr 2008 für diese interessiert hätten. Darunter habe sich auch der heutige Käufer B._ befunden. Daher sei gegenüber der Y._ AG aus dem Vertrag keine Maklerprovision geschuldet. Die Stichhaltigkeit dieser Begründung ist im Folgenden zu prüfen.
3. 3.1 Der Beschwerdeführer rügt zunächst eine unrichtige Feststellung des Sachverhalts. Er legt dar, die Vorinstanz habe in sachverhaltsmässiger Hinsicht festgestellt, es sei ein Nachweismaklervertrag abgeschlossen worden, also ein Vertrag, bei dem sich die Handlung des Maklers im Ausfindigmachen und der Bezeichnung von Interessenten erschöpft habe. Richtig sei demgegenüber, dass die Maklerin (Y._ AG) gemäss Maklervertrag vom 6. Juli 2009 "mit dem Verkauf der Liegenschaft Q._" beauftragt worden sei, was nebst dem Ausfindigmachen von Interessenten (Nachweismaklerei) auch die Erstellung einer Verkaufsdokumentation mit allen notwendigen und nützlichen Angaben zur Liegenschaft, die Kontaktierung der Interessenten, deren Bedienung mit der Verkaufsdokumentation und weiteren Informationen, die Besichtigung der Liegenschaft, die Verhandlungen über den Preis, die Überprüfung der Bonität der möglichen Käufer, das Verhandeln der Verkaufsmodalitäten, deren Übermittlung an das Notariat usw. erfasse (Vermittlungsmaklerei). Die fälschliche Feststellung einer Nachweismaklerei sei für den Ausgang des verwaltungsgerichtlichen Verfahrens entscheidend gewesen.
3.2 Die Rüge ist unbegründet. Die Vorinstanz hat nicht übersehen, dass die Y._ AG in der Angelegenheit betreffend den Verkauf der Liegenschaft Q._ ebenfalls tätig geworden ist. Gemäss den Feststellungen der Rekursinstanz, auf die sich die Vorinstanz stützt, hat das Verkaufsteam der Y._ AG mit den Verkaufsbemühungen für die fragliche Liegenschaft zudem nicht erst ab dem 6. Juli 2009 (Datum des Maklervertrags), sondern schon relativ früh im Jahr 2009 begonnen.
Diese Tätigkeit war jedoch für den erfolgreichen Abschluss des Kaufgeschäfts nicht kausal. Wie die Vorinstanz in tatsächlicher Hinsicht festgehalten hat, kam es erst zum Abschluss, nachdem der Beschwerdeführer selbst den entscheidenden Hinweis von dritter Seite bekommen hatte. Und zwar hatte sich der Beschwerdeführer Ende Juni oder Anfang Juli 2009 betreffend den Verkauf der Liegenschaft an A._ gewandt. Dieser hatte früher bei der W._ AG gearbeitet und war damals zuständig, für die Liegenschaft Q._ einen Käufer zu finden. Nach erfolgreicher Vermittlung der Liegenschaft an den Beschwerdeführer wechselte A._ die Stelle und arbeitete seither bei der Z._ AG (an welcher der Beschwerdeführer eine 50-prozentige Beteiligung hält). Ende Juni oder Anfang Juli 2009 habe der Beschwerdeführer A._ gefragt, ob er sich an die seinerzeitigen Interessenten für die Liegenschaft erinnern könne. A._ habe ihm mehrere Namen genannt, darunter auch jenen vom nachmaligen Käufer, B._. Diese Interessenten seien in der Folge durch die Y._ AG kontaktiert worden. B._ habe die Liegenschaft besichtigt, mit dem Beschwerdeführer Kontakt aufgenommen und die Kaufzusage abgegeben.
3.3 Die Vorinstanz hat daher den Sachverhalt nicht offensichtlich falsch (d.h. willkürlich) festgestellt, wenn sie erwogen hat, dass der Eintritt des Erfolgs, die Veräusserung der Liegenschaft, nicht durch die Tätigkeit der Y._ AG kausal bedingt gewesen sei, sondern durch die Tätigkeit des Beschwerdeführers selbst. Da der Y._ AG somit kein kausaler Beitrag zum Zustandekommen des Zielgeschäfts zugeschrieben werden konnte, der Maklervertrag somit unter keinem Titel erfüllt ist, kann aber offenbleiben, ob der Vertrag auf Vermittlung oder blossen Nachweis der Kaufgelegenheit gerichtet war und in welchem Umfang das Verkaufsteam der Y._ AG in der Angelegenheit Liegenschaftsverkauf bereits tätig geworden war. In beiden Fällen ist der Maklerlohn nur verdient, wenn der Vertragsschluss kausal auf den Nachweis oder auf die Vermittlung des Maklers zurückzuführen gewesen wäre (Art. 413 Abs. 1 OR). Die Bestimmung ist - wie erwähnt (vgl. vorn E. 2.1) - dispositiver Natur, doch haben die Vertragsparteien keine davon abweichende Vereinbarung getroffen. Die Einwendungen des Beschwerdeführers tatsächlicher Art sind somit für den Ausgang der Sache rechtlich nicht relevant und nicht zu hören.
4. 4.1 In der Sache macht der Beschwerdeführer eine Verletzung von Bundesrecht geltend. Er legt dar, aus Gründen der vertikalen Steuerharmonisierung sollten die bundessteuerliche und die kantonale Praxis in Übereinstimmung sein. Mithin sei für § 221 Abs. 1 lit. c StG betreffend die Berücksichtigung von Maklerprovisionen bei den Anlagekosten der Grundstückgewinnsteuer die gleiche Auslegung geboten wie für die direkte Bundessteuer. In den meisten Kantonen würden Grundstückgewinne von Liegenschaftenhändlern mit der allgemeinen Einkommenssteuer erfasst. Es sei offensichtlich, dass für Kantone - wie Zürich - mit monistischem System der Grundstückgewinnbesteuerung die bundessteuerliche Praxis analog Geltung haben müsse.
4.2 Dazu ist Folgendes zu bemerken: Für die Grundstückgewinnsteuer ist nicht Art. 9 Abs. 1 StHG, sondern Art. 12 im dritten Kapitel über die Grundstückgewinnsteuer dieses Gesetzes anwendbar. Welche Kosten beim Grundstückgewinn als Aufwendungen anrechenbar sind, führt Art. 12 StHG allerdings nicht aus. In diesem Bereich steht dem kantonalen Gesetzgeber somit ein, wenn auch beschränkter, Spielraum offen (BGE 131 II 722 E. 2.1 S. 723 f. für den Kanton Schwyz; Urteil 2C_705/2011 vom 26. April 2012 E. 1.5.3 und 4.3.2, in: StE 2012 B 44.12.3 Nr. 6 E. 1.5, StR 67/2012 S. 522, für den Kanton Zürich; 2C_119/2009 vom 29. Mai 2009 E. 2.1, in: StE 2009 B 44.13.5 Nr. 9, StR 64/2009 S. 655, RDAF 2009 II S. 453; 2C_479/2007 vom 28. März 2008 E. 2.1, in: ZStP 17 S. 164, je für die Grundstückgewinnsteuer des Kantons Zürich). In Kantonen mit monistischem System der Grundstückgewinnbesteuerung ergibt sich diese Beschränkung bereits aus der engen Verzahnung von Einkommens- und Grundstückgewinnsteuer (BGE 131 II 722 E. 2.1 S. 724; Urteil 2C_705/2011 vom 26. April 2012 E. 4.3.2, in: StE 2012 B 44.12.3 Nr. 6 E. 1.5, StR 67/2012 S. 522, für den Kanton Zürich).
4.3 Allerdings steht vorliegend die Bestimmung von § 221 Abs. 1 lit. c StG, wonach übliche Maklerprovisionen bei der Ermittlung des Grundstückgewinns als Aufwendungen anzurechnen sind, im Einklang mit dem Bundessteuerrecht. Auch nach der Praxis zur direkten Bundessteuer stellen Provisionen für die Vermittlung grundsätzlich Gewinnungskosten dar, wobei sie der Erfolgsrechnung im Zeitpunkt, in welchem der Anspruch des Vermittlers auf die Provisionszahlung entsteht, zu belasten sind (Urteil 2A.129/1997 vom 4. Juni 1998 E. 3, in: RDAT 1998 II 22t S. 353; 2A.523/1997 vom 29. Januar 1999 E. 3b, in: ASA 68 S. 246, für die Verrechnungssteuer; s. dazu PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, N. 39 f. zu Art. 27 DBG). Es könnte daher vorliegend höchstens eingewendet werden, die Vorschrift sei im Falle des Beschwerdeführers willkürlich oder harmonisierungswidrig angewendet worden. Nachdem jedoch der Kaufvertrag ohne Nachweis oder Vermittlung durch die Maklerin (Y._ AG) zustande gekommen ist, ist auch die Maklerprovision nach Art. 413 Abs. 1 OR nicht geschuldet. In diesem Fall sind nach dem dispositiven Recht ohne besondere Vereinbarung dem Makler auch keine Auslagen zu ersetzen (AMMANN, a.a.O., N. 15 zu Art. 414 OR; HOFSTETTER, a.a.O., S. 179; HEINRICH HONSELL, Schweizerisches Obligationenrecht, Besonderer Teil, 9. Aufl. 2010, S. 356; STREIFF, a.a.O., S. 63).
4.4 Soweit der Beschwerdeführer sich auf das Urteil 2C_272/2011 vom 5. Dezember 2011 beruft, besteht ein relevanter Unterschied zum vorliegenden Fall darin, dass hier der Käufer dem Beschwerdeführer schon vor Abschluss des Maklervertrags bekannt war.
5. Der Eventualantrag (Herabsetzung der Grundstückgewinnsteuer von Fr. ... auf Fr. ...) wird nicht näher ausgeführt. Es ist anzunehmen, der Beschwerdeführer stellt ihn für den Fall, dass das Bundesgericht den Aufwandcharakter der Maklerprovision anerkennt und reformatorisch entscheidet. Das ist nicht der Fall, womit sich auch der Eventualantrag erübrigt.
6. Die Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 1. April 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann