Erwägungen:
1. 1.1 Der türkische Staatsangehörige X._ (geb. 1973) reiste im Mai 2001 in die Schweiz ein und stellte ein Asylgesuch. Dieses wurde am 10. Januar 2003 abgewiesen. Während des anschliessenden Beschwerdeverfahrens heiratete er am 7. Januar 2004 eine Schweizer Bürgerin (geb. 1977), worauf er eine Aufenthaltsbewilligung für den Kanton Zürich erhielt, die letztmals bis zum 3. Januar 2008 verlängert wurde. Nach diversen Abklärungen verweigerte das kantonale Migrationsamt am 3. März 2009 die weitere Verlängerung der Aufenthaltsbewilligung. Es wirft X._ vor, er habe nie die Absicht gehabt, eine wirkliche Ehe zu führen. Mit der Heirat sollten nur die ausländerrechtlichen Vorschriften umgangen werden. Die im Kanton dagegen erhobenen Rechtsmittel blieben erfolglos (Regierungsratsbeschluss vom 21. September 2010 und Verwaltungsgerichtsentscheid vom 22. Dezember 2010).
1.2 Mit fristgerechter "verwaltungsgerichtlicher Beschwerde" vom 1. Februar 2011 beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Zürich aufzuheben und die kantonalen Behörden anzuweisen, ihm die Aufenthaltsbewilligung zu erneuern. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht sowie - mit Postaufgabe vom 31. Mai 2011 und deshalb verspätet und unbeachtlich - das Bundesamt für Migration beantragen die Abweisung der Beschwerde. Das Migrationsamt und der Regierungsrat des Kantons Zürich haben sich nicht vernehmen lassen.
1.3 Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde am 9. Februar 2011 antragsgemäss die aufschiebenden Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
2. 2.1 Nach dem hier gemäss Art. 126 Abs. 1 AuG (SR 142.20) noch anwendbaren Art. 7 Abs. 1 Satz 1 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121 sowie Änderungen gemäss Fussnote zu Ziff. I des Anhangs 2 zum AuG, insb. AS 1991 1034 1043) - ebenso wie nach dem am 1. Januar 2008 in Kraft getretenen Art. 42 Abs. 1 AuG - hat der ausländische Ehegatte eines Schweizer Bürgers grundsätzlich Anspruch auf Erteilung bzw. Verlängerung der Aufenthaltsbewilligung. Kein Anspruch besteht gemäss Art. 7 Abs. 2 ANAG, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern zu umgehen (ebenso Art. 51 Abs. 1 lit. a AuG). Die Vorinstanzen haben aufgrund zahlreicher, einschlägiger Indizien geschlossen, dass der Beschwerdeführer eine sog. Scheinehe bzw. Ausländerrechtsehe eingegangen sei, weshalb sein Bewilligungsanspruch nach den erwähnten Bestimmungen erloschen sei.
2.2 Der Beschwerdeführer rügt bloss eine Verletzung seines Anspruchs auf rechtliches Gehör nach Art. 29 Abs. 2 BV. Es sei weder eine mündliche Verhandlung durchgeführt noch seinen Beweisanträgen zur Einvernahme seiner Ehefrau, seines Onkels und eines Hauseigentümers stattgegeben worden. Die Vorinstanz ist der Auffassung, es habe kein Anlass bestanden, eine mündliche Verhandlung durchzuführen. Die Beteiligten hätten genügend Gelegenheit gehabt, ihren Standpunkt eingehend darzulegen, das Verwaltungsgericht verfüge über die vollständigen Akten.
Der Beschwerdeführer macht geltend, sein Onkel hätte seine Einkommens- und Lebensverhältnisse erhellen können. Bei der Vorinstanz hatte er ausgeführt, die Einkünfte beider Ehegatten reichten für einen bescheidenen Lebensstil. Hiezu bot er die drei zuvor erwähnten Personen als Zeugen an. Was dies am Schluss, es liege eine Scheinehe vor, geändert hätte, ist jedoch nicht ersichtlich und wird vom Beschwerdeführer auch nicht dargelegt. Daher ist nicht zu beanstanden, dass diese Personen nicht zu den Einkünften vernommen wurden.
Dem Beschwerdeführer zufolge hätte sich der Hauseigentümer zudem zum Zusammenleben der Ehegatten äussern können. Bei der Vorinstanz hatte er diesbezüglich präzisiert, dieser Zeuge sei der Vermieter der im Mai 2009 von den Eheleuten bezogenen Wohnung, dem er den Mietzins monatlich überbringe. Die Vorinstanzen gehen davon aus, dass die Eheleute nur wegen des ausländerrechtlichen Verfahrens erstmals im Mai 2009 eine gemeinsame Wohnung angemietet haben, sie in Wirklichkeit aber kein eheliches Zusammenleben anstrebten. Bei einem Augenschein in der Wohnung im Oktober 2009 fehlten - ausser einem Rasierapparat - jegliche persönliche Gegenstände des Beschwerdeführers. Die Ehefrau erklärte, sie wolle sich scheiden lassen und sei nur auf Druck des Migrationsamtes in diese Wohnung gezogen. Zuvor hatten sie zwar beide seit dem Jahr 2004 in der Stadt Zürich gewohnt, jedoch an verschiedenen Adressen. Demzufolge konnte die Vorinstanz in stillschweigend antizipierter Beweiswürdigung willkürfrei von der Einvernahme des Vermieters absehen. Selbst wenn die Eheleute erstmals ab Mai 2009 eine gewisse Zeit zusammengelebt hätten, ist es nicht willkürlich, dies als nur vorgespielt zu betrachten (vgl. BGE 122 II 289 E. 2b S. 295 mit Hinweisen).
In Bezug auf seine Ehefrau erklärt der Beschwerdeführer, diese sei nie darüber befragt worden, ob die Ehe tatsächlich geführt werde. Sie habe sich nicht zum Vorwurf der Scheinehe äussern können. Auch dieses Vorbringen geht fehl. Denn die Ehefrau gab anlässlich einer Befragung im Oktober 2009 (Akten des Migrationsamts Ziff. 51, S. 5 des Einvernahmeprotokolls) unter anderem an, sie habe das Gefühl, der Beschwerdeführer habe sie nur zur Ermöglichung seines weiteren Aufenthaltes in der Schweiz geheiratet. Mithin war ihr bewusst, dass neben dem Vorwurf des fehlenden Zusammenlebens allenfalls auch derjenige der Scheinehe im Raum stand. Insoweit lagen denn auch - entgegen der Behauptung des Beschwerdeführers - Angaben zu ihrer "inneren Befindlichkeit" vor.
Da der Beschwerdeführer selber ebenfalls wiederholt Gelegenheit hatte, sich zu äussern, ist nicht zu beanstanden, dass die Vorinstanz von einer mündlichen Verhandlung abgesehen hat (vgl. BGE 134 I 140 E. 5.3 S. 148 mit Hinweis).
Der Beschwerdeführer rügt schliesslich, die Vorinstanz habe es nicht für notwendig gehalten, sich mit seinen Argumenten beispielsweise betreffend "Negativindizien" oder "sozialer Umgang" auch nur im Ansatz auseinanderzusetzen. Diese Rüge genügt nicht den Begründungsanforderungen nach Art. 42 Abs. 2 bzw. Art. 106 Abs.2 BGG. Es ist unter anderem nicht ersichtlich, was er für relevante Umstände vorgebracht haben will, mit denen sich nicht bereits der Regierungsrat in seinem Beschluss vom 21. September 2010 befasst hatte und auf den die Vorinstanz in ihrem Entscheid verweist. Dass der Beschwerdeführer den Behörden die getrennten Adressen der Eheleute nicht verheimlicht hatte, ist im Übrigen nicht zu seinen Gunsten zu werten. Denn insoweit hatte er namentlich erklärt, zwecks Zusammenlebens sei er auf der Suche nach einer grösseren Wohnung. Erst später stellten die Behörden fest, dass er sich nicht ernsthaft um das Auffinden einer Ehewohnung bemüht hatte.
3. Dem Dargelegten zufolge und aufgrund der von den Vorinstanzen getroffenen Feststellungen, auf die verwiesen wird, ist nicht zu beanstanden, dass die Erneuerung der Aufenthaltsbewilligung des Beschwerdeführers mit Blick auf Art. 7 Abs. 2 ANAG verweigert wurde (vgl. auch BGE 122 II 289 E. 2 S. 294 ff.). Seine als Beschwerde in öffentlich-rechtlichen Angelegenheiten zu behandelnde Eingabe (vgl. Art. 82 ff. BGG) erweist sich als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG behandelt und abgewiesen werden kann.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 28. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz