Sachverhalt: A. Der türkische Staatsangehörige X._ (geb. 1978) reiste Mitte 2001 in die Schweiz ein und stellte hier erfolglos ein Asylgesuch. Am 20. November 2006 heiratete X._ die Schweizerin Y._ (geb. 1981) und erhielt in der Folge eine letztmals bis 19. November 2010 verlängerte Aufenthaltsbewilligung. Das eheliche Zusammenleben wurde per 1. März 2007 aufgenommen. Am 12. April 2010 meldete die Grossmutter von Y._ dem Personenmeldeamt der Stadt Zürich, dass ihre Enkelin seit dem 15. Januar 2008 bei ihr wohne. X._ gab in den Verlängerungsgesuchen vom 21. Oktober 2008 und 26. Oktober 2009 an, dass er mit seiner Ehefrau zusammenwohne. Mit Strafbefehl vom 5. Juli 2011 wurde X._ wegen Strassenverkehrsdelikten zu einer bedingten Geldstrafe von 35 Tagessätzen zu je Fr. 90.-- und einer Busse von Fr. 1'250.-- verurteilt. B. Auf Nachfrage des Migrationsamtes des Kantons Zürich vom 29. April 2010 haben X._ und seine Ehefrau im Mai 2010 schriftlich bestätigt, dass sich die Eheleute bereits Ende Januar 2008 getrennt hatten. Am 12. November 2010 hat das Migrationsamt X._ aufgrund der Auflösung der ehelichen Gemeinschaft per Ende Januar 2008 die Nichtverlängerung der Aufenthaltsbewilligung und die Wegweisung in Aussicht gestellt. Der anwaltlich vertretene X._ liess sich dazu nicht vernehmen. In der Folge hat das Migrationsamt des Kantons Zürich die Aufenthaltsbewilligung mit Verfügung vom 18. März 2011 nicht verlängert und X._ weggewiesen. In der Rekursschrift vom 21. April 2011 hat X._ unter Hinweis auf die genannten Bestätigungen die Aufgabe des gemeinsamen Haushalts der Eheleute per Ende Januar 2008 eingeräumt. Es gebe jedoch wichtige Gründe für getrennte Wohnorte, namentlich sei ein "living apart together" als wichtiger Grund anzuerkennen. Am 28. März 2012 wies die Sicherheitsdirektion des Kantons Zürich den Rekurs ab. Die anschliessende Beschwerde an das Verwaltungsgericht des Kantons Zürich blieb erfolglos. C. Vor Bundesgericht beantragt X._ sinngemäss, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 26. Juni 2012 aufzuheben und das Gesuch um Verlängerung der Aufenthaltsbewilligung gutzuheissen, eventualiter die Sache an die Vorinstanz zurückzuweisen. Am 2. Oktober 2012 hat X._ ein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren eingereicht. Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet. Die Sicherheitsdirektion des Kantons Zürich und das Bundesamt für Migration beantragen die Abweisung der Beschwerde. D. Am 10. September 2012 hat der Abteilungspräsident der Beschwerde aufschiebende Wirkung erteilt.