Sachverhalt:
A. Der türkische Staatsangehörige X._ (geb. 1974) reiste am 16. März 2002 in die Schweiz ein und heiratete am 18. Juni 2002 die aus China stammende Schweizer Bürgerin Y._ (geb. 1966), die er am 22. April 2002 auf einem Spaziergang kennen gelernt hatte. Gestützt auf die Heirat wurde ihm eine Aufenthaltsbewilligung (letztmals verlängert bis zum 17. Juni 2005) zum Verbleib bei der Ehefrau erteilt. Am 3. August 2004 meldete sich die Ehegattin am ehelichen Wohnsitz in Dietikon ab und zog nach Luzern. Die eheliche Gemeinschaft wurde nach Angabe der Ehegattin bereits im November 2002 und nach Auskunft von X._ im April 2004 bzw. erst Mitte 2005 aufgegeben.
B. Mit Verfügung vom 4. Mai 2006 wies die Sicherheitsdirektion (Migrationsamt) des Kantons Zürich das Gesuch von X._ vom 19. Juli 2005 um Verlängerung der Aufenthaltsbewilligung ab und setzte ihm eine Frist zum Verlassen des Kantonsgebiets.
Dagegen erhob X._ am 8. Juni 2006 Rekurs an den Regierungsrat des Kantons Zürich. Am 31. Januar 2007 teilte X._ der Staatskanzlei mit, er habe mit seiner Ehefrau in Zürich eine gemeinsame Wohnung bezogen. Polizeiliche Abklärungen ergaben jedoch, dass die Ehegattin nur der Form halber beim Ehemann angemeldet war und dieser ihren tatsächlichen Aufenthaltsort nicht kannte. Am 8. November 2007 stellte X._ ein Eheschutzbegehren, worauf das Bezirksgericht Zürich den Eheleuten mit Verfügung vom 28. Januar 2008 das Getrenntleben gerichtlich bewilligte.
C. Mit Beschluss vom 12. November 2008 wies der Regierungsrat den Rekurs gegen die Verweigerung der Bewilligungsverlängerung wegen rechtsmissbräuchlicher Berufung auf eine nur noch formell bestehende Ehe ab. Dagegen beschwerte sich X._ erfolglos beim Verwaltungsgericht des Kantons Zürich.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 25. Mai 2009 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 25. März 2009 aufzuheben und die Aufenthaltsbewilligung wenigstens für die laufende Einjahresperiode zu verlängern. Zudem stellt er die Begehren, die unentgeltliche Prozessführung zu gewähren, der Beschwerde aufschiebende Wirkung zu erteilen und eine Frist für den Nachweis der Bedürftigkeit einzuräumen.
Die Staatskanzlei des Kantons Zürich - im Auftrag des Regierungsrates - und das Verwaltungsgericht des Kantons Zürich beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
E. Mit Verfügung vom 28. Mai 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Art. 83 lit. c Ziff. 2 BGG schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Das streitige Gesuch um Verlängerung der Aufenthaltsbewilligung wurde vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 eingereicht und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen (Art. 126 Abs. 1 AuG). Entgegen der Auffassung des Beschwerdeführers fällt damit die Berücksichtigung der Bestimmungen des neuen Ausländergesetzes vorliegend ausser Betracht.
1.3 Nach Art. 7 Abs. 1 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines Schweizer Bürgers grundsätzlich Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (Satz 1) sowie nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren auf Erteilung der Niederlassungsbewilligung (Satz 2).
Der Beschwerdeführer lebt zwar von seiner schweizerischen Ehefrau getrennt, die Ehe besteht aber formell weiterhin. Damit hat er grundsätzlich einen Anwesenheitsanspruch gemäss Art. 7 ANAG. Die Frage, ob die Bewilligung verweigert werden durfte, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände oder ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1.2 bis 1.1.5 S. 148 ff. mit Hinweisen). Auf die frist- und formgerecht eingereichte Beschwerde ist somit einzutreten.
1.4 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die Sachverhaltsfeststellung kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig erfolgt ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG bzw. Art. 105 Abs. 2 BGG). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 BGG), setzt zudem voraus, dass die Behebung des Mangels sich für den Ausgang des Verfahrens als entscheidend erweisen kann (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. 2.1 Gemäss Art. 7 Abs. 1 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines Schweizer Bürgers - wie erwähnt - Anspruch auf Verlängerung der Aufenthaltsbewilligung sowie nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren auf Erteilung der Niederlassungsbewilligung. Kein Anspruch besteht, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern zu umgehen (Art. 7 Abs. 2 ANAG). Hierunter fällt die sogenannte Scheinehe oder Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen. Doch auch wenn eine Ehe nicht bloss zum Schein eingegangen worden ist, heisst das nicht zwingend, dass dem ausländischen Ehepartner der Aufenthalt ungeachtet der weiteren Entwicklung gestattet werden muss. Zu prüfen ist, ob sich die Berufung auf die Ehe nicht als rechtsmissbräuchlich erweist. Nach gefestigter bundesgerichtlicher Rechtsprechung liegt Rechtsmissbrauch vor, wenn der Ausländer sich im fremdenpolizeilichen Verfahren auf eine Ehe beruft, welche nur (noch) formell besteht oder aufrecht erhalten wird, mit dem alleinigen Ziel, ihm eine Anwesenheitsberechtigung zu ermöglichen; dieses Ziel wird von Art. 7 ANAG nicht geschützt (<ref-ruling> E. 4.2 S. 267; <ref-ruling> E. 4.2 S. 117, je mit Hinweisen).
2.2 Ob eine Scheinehe geschlossen wurde bzw. ob die Ehe nur noch formell und ohne Aussicht auf Wiederaufnahme einer ehelichen Gemeinschaft besteht, entzieht sich in der Regel dem direkten Beweis und ist bloss durch Indizien zu erstellen (BGE <ref-ruling> E. 10.2 und 10.3 S. 135 f. mit Hinweis). Feststellungen über das Bestehen solcher Indizien können äussere Gegebenheiten, aber auch innere, psychische Vorgänge betreffen (Wille der Ehegatten); es handelt sich so oder anders um tatsächliche Feststellungen, welche für das Bundesgericht grundsätzlich verbindlich sind (oben E. 1.4). Frei zu prüfen ist die Rechtsfrage, ob die festgestellten Tatsachen (Indizien) darauf schliessen lassen, die Berufung auf die Ehe bezwecke die Umgehung fremdenpolizeilicher Vorschriften oder sei rechtsmissbräuchlich (<ref-ruling> E. 2.3 S. 152 mit Hinweisen).
2.3 Das Verwaltungsgericht des Kantons Zürich hat offen gelassen, ob der Beschwerdeführer eine Scheinehe eingegangen ist. Im Übrigen anerkennt der Beschwerdeführer, dass mit der Wiederaufnahme des ehelichen Zusammenlebens nun endgültig nicht mehr gerechnet werden kann. Für die anbegehrte Bewilligungsverlängerung ist daher entscheidend, ob die Ehe mindestens fünf Jahre gedauert hat, bevor sie definitiv gescheitert ist, und damit ein Anspruch auf Niederlassungsbewilligung entstanden ist (Art. 7 Abs. 1 zweiter Satz ANAG). Bei Bestehen eines solchen Anspruchs könnte dem Beschwerdeführer die Verlängerung der Aufenthaltsbewilligung grundsätzlich nicht verweigert werden.
Gemäss den Feststellungen der Vorinstanz war die Ehe jedoch bereits vor Ablauf der Fünfjahresfrist nach Art. 7 Abs. 1 zweiter Satz ANAG definitiv gescheitert. Hinweise darauf, dass die Feststellungen des Verwaltungsgerichts zum Sachverhalt offensichtlich unrichtig wären, sind nicht ersichtlich und gehen namentlich auch nicht aus den Vorbringen des Beschwerdeführers hervor. Gemäss schriftlicher Auskunft der Ehegattin gegenüber dem Migrationsamt im Herbst 2004 wurde das eheliche Zusammenleben bereits im November 2002 aufgegeben. Zudem erklärte sie schon damals, sie habe keinen Kontakt mehr zum Ehemann. Dagegen gibt der Beschwerdeführer an, sie hätten sich erst im April 2004 bzw. Mitte Juli 2005 getrennt. Zudem macht er geltend, Ende 2006 bzw. anfangs des Jahres 2007 habe er nochmals mit seiner Ehegattin zusammen gelebt, wobei sie mit seinem Einverständnis oft weggereist sei. Zur im Januar 2007 vorgenommenen formellen Anmeldung der Ehegattin am zürcherischen Wohnsitz des Beschwerdeführers kam es offensichtlich unter dem Druck der drohenden Nichtverlängerung der Aufenthaltsbewilligung. Gemäss polizeilichen Erhebungen lebte die Ehegattin nicht in der Einzimmerwohnung des Beschwerdeführers. Sie erschien auch nicht zur polizeilichen Einvernahme betreffend Abklärung der ehelichen Verhältnisse, und zudem war dem Beschwerdeführer ihr tatsächlicher Aufenthaltsort nicht bekannt. Die vorgespiegelte Wiederaufnahme der ehelichen Wohngemeinschaft ändert nichts an der Tatsache, dass die Ehe bereits damals und wohl schon seit einiger Zeit definitiv gescheitert war. Was der Beschwerdeführer dagegen einwendet, vermag diese Würdigung nicht zu erschüttern. Auch für ihn musste erkennbar sein, dass mit einer Wiederaufnahme des ehelichen Zusammenlebens nicht mehr gerechnet werden konnte, umso weniger als er schon mindestens zwei Jahre von seiner Ehefrau getrennt lebte und nicht einmal wusste, wo sie sich aufhielt. Konkrete Anhaltspunkte dafür, dass in jenem Zeitpunkt noch berechtigte Hoffnung auf Wiederaufnahme des Ehelebens bestand, macht auch der Beschwerdeführer nicht geltend.
2.4 Das Verwaltungsgericht des Kantons Zürich geht in seinem Entscheid von der dargelegten Rechtsprechung zur missbräuchlichen Berufung auf die Ehe aus. Bei gesamthafter Betrachtung aller Indizien musste sich der Schluss aufdrängen, dass schon deutlich vor dem 17. Juni 2007 keine Aussichten auf Wiederaufnahme einer echten ehelichen Gemeinschaft mehr bestanden. War aber die Ehe klarerweise schon vor Ablauf der Fünfjahresfrist gemäss Art. 7 Abs. 1 zweiter Satz ANAG definitiv gescheitert, so konnte kein Anspruch auf eine Niederlassungsbewilligung entstehen. Damit verstösst die Verweigerung der beantragten Verlängerung der Aufenthaltsbewilligung nicht gegen Bundesrecht. Weitere Ausführungen dazu erübrigen sich. Es genügt, ergänzend auf die Erwägungen im angefochtenen Entscheid zu verweisen (Art. 109 Abs. 3 BGG).
3. Soweit die Bewilligungserteilung gestützt auf Art. 4 ANAG, der eine Bewilligung ins freie Ermessen der Behörden stellt, abgewiesen wurde, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig. Die subsidiäre Verfassungsbeschwerde ist mangels Legitimation in der Sache ausgeschlossen. Eine Verletzung von Parteirechten wird im Übrigen nicht gerügt.
4. 4.1 Die Beschwerde erweist sich somit als offensichtlich unbegründet und ist im vereinfachten Verfahren nach Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann.
4.2 Dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege kann wegen Aussichtslosigkeit des Beschwerdebegehrens nicht entsprochen werden (Art. 64 Abs. 1 BGG). Der Beschwerdeführer wird somit kostenpflichtig (Art. 66 BGG). Bei der Bemessung der Gerichtsgebühr wird indessen seiner finanziellen Lage Rechnung getragen (Art. 65 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (2. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 9. November 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Müller Dubs