Sachverhalt:
A. Der türkische Staatsangehörige X._ (geb. 16. Mai 1967) hielt sich erstmals von Mai 1990 bis Januar 1993 (Rückzug des Asylgesuchs) als Asylbewerber in der Schweiz auf. Am 22. April 2004 liess er sich in der Türkei von seiner türkischen Ehefrau scheiden, wobei die vier gemeinsamen Kinder (geb. 1988, 1990, 1995 bzw.1996) unter das Sorgerecht der Mutter gestellt wurden. Am 25. September 2004 reiste X._ illegal in die Schweiz ein und heiratete zwei Tage später die 19 Jahre ältere Schweizer Bürgerin Y._ (geb. 1948), die er im Jahr 1992 im Kanton Glarus kennen gelernt hatte. Gestützt auf die Heirat wurde X._ eine Aufenthaltsbewilligung erteilt (letztmals verlängert bis zum 26. September 2010). Die schweizerische Ehefrau sowie deren volljährige, im gemeinsamen Haushalt lebende Tochter bezogen bereits damals Leistungen der Invalidenversicherung.
Am 5. Juli 2005 erwirkte X._ die gerichtliche Übertragung des Sorgerechts über seine vier Kinder in der Türkei und am 12. November 2005 ersuchte er für sie um Einreisebewilligung. Trotz Ablehnung der Einreisegesuche reisten seine zwei älteren Kinder im Juli 2007 illegal in die Schweiz ein, weshalb X._ in der Folge zu einer Geldstrafe verurteilt wurde. Mit dem illegalen Aufenthalt der Kinder in der Schweiz bzw. in der gemeinsamen Wohnung war die schweizerische Ehegattin nicht einverstanden.
Im November 2007 bewilligte der Eheschutzrichter den Ehegatten das Getrenntleben. X._ teilte im September 2008 mit, dass im November 2007 einer der Ehegatten aus der gemeinsamen Wohnung ausgezogen sei, er seit Mai 2008 eine neue Adresse habe und zurzeit mit keiner Wiederaufnahme der ehelichen Gemeinschaft zu rechnen sei. Am 30. November 2008 zog seine Ehegattin zusammen mit ihrer Tochter nach A._/SO in das Haus ihrer verstorbenen Mutter. Am 15. Juni 2009 teilten die Ehegatten mit, sie seien wieder zusammen und suchten derzeit eine Wohnung in B._/ZH. Am 21. Juli 2009 bestätigten die Ehegatten die neue Adresse der Ehefrau in A._ und teilten mit, sie hätten die eheliche Gemeinschaft im November 2008 wieder aufgenommen; da der Ehemann in C._/ZH arbeite, wohne er immer noch in B._ und man suche eine Wohnung im Kanton Zürich. Im Verlängerungsgesuch vom 15. Juli 2010 gab X._ an, von der bei D._/SO wohnhaften Ehegattin getrennt zu leben.
Mit Verfügung vom 29. September 2010 verweigerte das Migrationsamt des Kantons Zürich X._ die Verlängerung seiner Aufenthaltsbewilligung und setzte ihm Frist zum Verlassen der Schweiz bis zum 17. Dezember 2010. Es erwog, mangels erfolgreicher Integration bestehe auch nach Art. 50 Abs. 1 lit. a AuG kein Anspruch auf Bewilligungsverlängerung.
B. Dagegen rekurrierte X._ am 4. November 2010 an die Sicherheitsdirektion des Kantons Zürich. Am 5. Juli 2011 zog er zu seiner Ehegattin in die von dieser zusammen mit ihrer Tochter in C._ an der ...strasse 4 gemietete Wohnung.
Die Sicherheitsdirektion wies den Rekurs mit Entscheid vom 12. Dezember 2011 ab. Die dagegen von X._ beim Verwaltungsgericht des Kantons Zürich erhobene Beschwerde blieb ohne Erfolg.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten eventualiter subsidiärer Verfassungsbeschwerde vom 30. Mai 2012 beantragt X._, das Urteil des Verwaltungsgerichts vom 24. April 2012 und die Verfügung des Migrationsamtes vom 29. September 2010 aufzuheben und die Vorinstanz anzuweisen, ihm die Aufenthaltsbewilligung zu verlängern. Zudem stellt er die Begehren, der Beschwerde aufschiebende Wirkung zuzuerkennen und ihm die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
Die Sicherheitsdirektion des Kantons Zürich beantragt, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Das Migrationsamt des Kantons Zürich sowie das Bundesamt für Migration liessen sich nicht vernehmen.
D. Mit Verfügung vom 5. Juni 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde hinsichtlich der mit dem angefochtenen Urteil verbundenen Ausreiseverpflichtung aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
Nach Art. 42 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) haben ausländische Ehegatten von Schweizer Bürgern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Der Beschwerdeführer beruft sich auf diese Anspruchsgrundlage sowie eventualiter auf ein nach Auflösung der Ehegemeinschaft bestehendes Anwesenheitsrecht gemäss Art. 50 Abs. 1 lit. a AuG und behauptet die Voraussetzungen hierfür seien gegeben. Dies bedarf näherer Prüfung, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist. Ob die in diesen Bestimmungen statuierten Voraussetzungen für eine Bewilligungsverlängerung erfüllt sind, bildet Gegenstand der materiellen Beurteilung.
1.2 Das angefochtene Urteil stellt einen letztinstanzlichen kantonalen Endentscheid dar. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel kann daher grundsätzlich eingetreten werden. Nicht eingetreten werden kann auf die Beschwerde, soweit die Aufhebung der Verfügung des Migrationsamtes beantragt wird. Diese ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt inhaltlich als mitangefochten (<ref-ruling> E. 1.4 S. 144).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 400).
2. 2.1 Wie erwähnt, haben ausländische Ehegatten von Schweizerinnen und Schweizern nach Art. 42 Abs. 1 AuG Anspruch auf Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Das Erfordernis des Zusammenwohnens besteht nicht, wenn für getrennte Wohnsitze wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiter besteht (Art. 49 AuG). Die Ansprüche nach Art. 42 AuG erlöschen unter anderem, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um die Vorschriften der Ausländergesetzgebung zu umgehen (Art. 51 Abs. 1 lit. a AuG).
Die Vorinstanz schloss, der Beschwerdeführer berufe sich rechtsmissbräuchlich auf eine nur formell bestehende Ehe mit dem Ziel, die Verlängerung seiner Aufenthaltsbewilligung zu erwirken.
2.2 Der Beschwerdeführer wirft dem Verwaltungsgericht eine willkürliche Feststellung bzw. eine widersprüchliche Würdigung des Sachverhalts vor. Er beschränkt sich indessen darauf, seine Sicht der Dinge zu schildern und sie derjenigen der letzten kantonalen Instanz gegenüberzustellen. Willkür liegt nicht schon dann vor, wenn der von der Vorinstanz als erstellt erachtete Sachverhalt nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Sachverhaltsdarstellung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Erforderlich ist vielmehr, dass die Feststellungen bzw. die Beweiswürdigung der Vorinstanz offensichtlich unhaltbar sind, zur tatsächlichen Situation in klarem Widerspruch stehen, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen (<ref-ruling> E. 2b S. 56; <ref-ruling> E. 2a S. 168; <ref-ruling> E. 4a S. 5).
2.2 Der Beschwerdeführer wirft dem Verwaltungsgericht eine willkürliche Feststellung bzw. eine widersprüchliche Würdigung des Sachverhalts vor. Er beschränkt sich indessen darauf, seine Sicht der Dinge zu schildern und sie derjenigen der letzten kantonalen Instanz gegenüberzustellen. Willkür liegt nicht schon dann vor, wenn der von der Vorinstanz als erstellt erachtete Sachverhalt nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Sachverhaltsdarstellung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Erforderlich ist vielmehr, dass die Feststellungen bzw. die Beweiswürdigung der Vorinstanz offensichtlich unhaltbar sind, zur tatsächlichen Situation in klarem Widerspruch stehen, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen (<ref-ruling> E. 2b S. 56; <ref-ruling> E. 2a S. 168; <ref-ruling> E. 4a S. 5).
2.3 2.3.1 Die Ehegatten lebten seit November 2007 getrennt. Sie behaupten zwar, sich im November 2008 wieder versöhnt zu haben und danach aber bis im Juli 2011 keine gemeinsame Wohnung gefunden zu haben. Wie die Vorinstanz zu Recht hervorhebt, ist nicht nachvollziehbar, dass die Ehegattin gerade im Moment der angeblichen Versöhnung ohne den Beschwerdeführer nach A._ in das Haus ihrer verstorbenen Mutter zog. Nachdem finanzielle Schwierigkeiten bestanden und der Beschwerdeführer gesundheitliche Probleme hatte, war es vielmehr naheliegend, gemeinsam in das geerbte Haus zu ziehen, selbst wenn es sich dabei um eine Übergangslösung handelte. Der Beschwerdeführer war im November 2008 nicht mehr erwerbstätig, weshalb auch keine beruflichen Umstände vorlagen, die seinen Verbleib im Kanton Zürich erforderlich gemacht hätten. Aus gesundheitlichen Gründen nahm er erst im September 2010 wieder eine Erwerbstätigkeit in C._ auf, wobei er im Bereich Baureinigung wohl auch in der Nähe des Wohnorts der Ehegattin hätte eine Anstellung finden können. Dass er sich darum (erfolglos) bemüht hätte, macht er nicht geltend. Zusammenfassend ergibt sich, dass keine wichtigen Gründe für das Getrenntleben im Sinne von Art. 49 AuG vorlagen und damit der Anspruch auf Bewilligungsverlängerung nach Art. 42 Abs. 1 AuG entfallen war. Die geltend gemachten während des über dreieinhalb Jahre dauernden Getrenntlebens weiter bestehenden Kontakte zwischen den Ehegatten vermöchten im Übrigen den Fortbestand der Ehegemeinschaft nicht zu belegen.
2.3.2 Erst nachdem das Migrationsamt die Bewilligungsverlängerung verweigert und auch einen Anspruch auf Bewilligung nach Art. 50 Abs. 1 lit. a AuG verneint hatte, zog der Beschwerdeführer wieder mit der Ehegattin zusammen. Bei Ehepaaren mit gemeinsamem Wohnsitz gilt zwar grundsätzlich die Vermutung, dass die Ehegemeinschaft gelebt wird. Vorliegend bestehen indessen verschiedene Hinweise dafür, dass der Beschwerdeführer bei seiner Ehefrau lediglich mit dem Ziel eingezogen ist, die Verlängerung seiner Aufenthaltsbewilligung zu erwirken. Einerseits fällt auf, dass der Beschwerdeführer trotz der angeblichen Versöhnung im November 2008 erst zu seiner Ehefrau zog, als ihm klar wurde, dass er nicht in der Schweiz wird verbleiben können. Andererseits erstaunt, dass der Mietvertrag lediglich mit der Ehegattin und deren Tochter abgeschlossen wurde. Selbst wenn wegen offenen Verlustscheinen der Mietvertrag nicht mit dem Beschwerdeführer abgeschlossen werden konnte, leuchtet keineswegs ein, weshalb die 4,5 Zimmer-Wohnung ausdrücklich für einen Zweipersonenhaushalt (Mutter und Tochter) gemietet wurde, wenn sie den Ehegatten, die angeblich seit der behaupteten Versöhnung im November 2008 auf Wohnungssuche zu sein schienen, tatsächlich als eheliche Wohnung dienen sollte. Eine schriftliche Einverständniserklärung des Vermieters betreffend den Einzug des Beschwerdeführers konnte dieser ebenfalls nicht vorlegen und verwies auf eine gegenüber seiner Ehefrau telefonisch gestattete Duldung. Befremdend erscheint weiter, dass der Beschwerdeführer am 1. November 2011 immer noch über einen Parkplatz an seiner früheren Wohnadresse (....strasse 150) in B._ verfügte und dort ein Fahrzeug abgestellt hatte, von welchem seine Ehegattin keine Kenntnis hatte. Sein früherer Arbeitgeber, der nach Angabe des Beschwerdeführers für ihn wie ein Bruder gewesen sein soll und damit von den persönlichen Verhältnissen des Beschwerdeführers bestens Kenntnis haben musste, versandte sodann noch am 16. September 2011 die den Beschwerdeführer betreffende Kündigung an die ....strasse 150 in B._. Der Beschwerdeführer hat sich damit in seiner Eingabe an das Bundesgericht nicht auseinandergesetzt. Entgegen seiner Meinung vermögen sodann die Bestätigungsschreiben der Schwester und einer Nachbarin der Ehegattin keineswegs zu belegen, dass die eheliche Beziehung tatsächlich gelebt wird. Obwohl die Aussagen vom 23. Januar bzw. vom 28. Januar 2012 datieren, beziehen sich beide Schreiben ausschliesslich auf die Zeit vor dem Einzug in die heutige Wohnung in C._ (...strasse 4) und enthalten seltsamerweise gar keinen Hinweis betreffend das angebliche aktuelle Eheleben in C._. Es ist kaum vorstellbar, dass beide der Ehegattin nahestehenden Personen aus Versehen den gemeinsamen heutigen Wohnort der Ehegatten sowie das für das vorliegende Verfahren entscheidende heutige Eheleben unerwähnt liessen.
Aufgrund der gesamten Indizien ist davon auszugehen, dass es sich bei den Vorbringen des Beschwerdeführers, wonach die eheliche Gemeinschaft im November 2008 wieder aufgenommen worden sein bzw. heute weiter gelebt werden soll, um eine reine Schutzbehauptung und bei den früheren schriftlichen Bestätigungen der Ehefrau um Gefälligkeitsschreiben handelt. Im Übrigen hat die Ehegattin bereits im November 2007 erklärt, sie habe Angst vor ihrem Ehemann und wolle mit ihm möglichst wenig zu tun haben. In diesem Zusammenhang fällt auf, dass auch dessen ehemalige Arbeitskollegin, die mit seinem Sohn unter Mitwirkung des Beschwerdeführers in Polen eine Scheinehe eingegangen ist, ausgesagt hat, sie fürchte sich vor dem Beschwerdeführer. Dieser hat zugegeben, seine Arbeitskollegin am 16. September 2011 auf offener Strasse in Anwesenheit von mehreren Zeugen an den Haaren zu Boden gerissen, danach mehrfach mit den Füssen getreten und verletzt zu haben, wobei er zwar angibt, die Auseinandersetzung habe entgegen den Erklärungen des Opfers nichts mit der eingegangenen Scheinehe zu tun. Es trifft zu, dass dieses Ereignis Gegenstand eines hängigen Strafverfahrens ist und sich daraus auch nichts betreffend den Bestand der Ehegemeinschaft des Beschwerdeführers ableiten liesse. Immerhin kann ohne Verletzung der Unschuldsvermutung aus den Aussagen des Beschwerdeführers zumindest geschlossen werden, dass dieser die schweizerische Gesetzgebung sehr gering schätzt, wenn es ein Anwesenheitsrecht zu erwirken gilt, und zudem nicht davor zurückschreckt, seinem Willen mit Druck und sogar handgreiflich Nachachtung zu verschaffen.
2.3.3 Zusammenfassend ergibt sich, dass der Einzug in die von der Ehegattin und deren Tochter gemietete Wohnung im Hinblick auf die drohende endgültige Nichtverlängerung der Aufenthaltsbewilligung zwecks Täuschung der Ausländerbehörden erfolgt ist. Konkrete Hinweise dafür, dass die eheliche Beziehung tatsächlich gelebt wird, sind keine ersichtlich. Eine blosse Wohngemeinschaft genügt dafür nicht. Zudem fällt auf, dass sich die Ehegattin in keiner Weise am Beschwerdeverfahren betreffend die Nichtverlängerung der Aufenthaltsbewilligung beteiligt hat, was an sich zu erwarten wäre, wenn die eheliche Beziehung weiter bestünde. Auch bringt der Beschwerdeführer selber nichts betreffend allfällige Folgen für das Familienleben vor, falls er die Schweiz verlassen müsste, was ebenfalls darauf hindeutet, dass gar kein gelebtes Eheleben vorliegt.
Bei Betrachtung der gesamten Umstände der mit seiner schweizerischen Ehegattin eingegangenen Ehe und insbesondere der auf eine nur formell bestehende Ehe hindeutenden Indizien ist der Schluss der Vorinstanz, der Beschwerdeführer berufe sich rechtsmissbräuchlich auf die Ehe, nicht zu beanstanden. Was der Beschwerdeführer dagegen vorbringt, ist nicht geeignet die vorinstanzliche Würdigung zu erschüttern.
3. 3.1 Der Beschwerdeführer beruft sich zudem auf Art. 50 Abs. 1 lit. a AuG. Danach besteht der Anspruch des Ehegatten auf Aufenthaltsbewilligung gemäss Art. 42 AuG nach Auflösung der Ehegemeinschaft weiter, wenn diese mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht. Nach Art. 77 Abs. 4 der Verordnung über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) liegt eine erfolgreiche Integration vor, wenn der Ausländer namentlich die rechtsstaatliche Ordnung und Werte der Bundesverfassung respektiert und den Willen zur Teilnahme am Wirtschaftsleben und zum Erwerb der am Wohnort gesprochenen Landessprache bekundet.
3.2 Bis zur Trennung im November 2007 haben die Ehegatten knapp über drei Jahre zusammen gelebt. Die Vorinstanz hat die Frage, ob eine Scheinehe vorliegt, zu Recht offen gelassen, da bereits mangels erfolgreicher Integration kein Bewilligungsanspruch nach Art. 50 Abs. 1 lit. a AuG gegeben ist. Wie die Vorinstanz zutreffend ausführt ist es dem Beschwerdeführer nicht gelungen, sich wirtschaftlich zu integrieren, wobei ihn für die krankheitsbedingte Arbeitsunfähigkeit (er bezieht eine Invalidenrente von 50%) zwar keine Schuld trifft. Er hat zudem zeitweise Sozialhilfe bezogen, musste betrieben werden und hatte offene Verlustscheine. Aber auch seine soziale Integration ist weder dargetan noch ersichtlich. Im Übrigen hat sich der Beschwerdeführer nicht klaglos verhalten. Wie verschiedene Vorkommnisse (u.a. illegaler Nachzug der Kinder, Vermittlung der Scheinehe seines Sohnes, Verhalten gegenüber der ehemaligen Arbeitskollegin) zeigen, fehlt es dem Beschwerdeführer trotz relativ langem Aufenthalt am Verständnis für die hiesige Rechtsordnung, was ebenfalls gegen eine erfolgreiche Integration spricht. Dass die Vorinstanz unter diesen Umständen das Vorliegen eines nachehelichen Aufenthaltsanspruchs mangels erfolgreicher Integration verneint hat, ist daher nicht zu beanstanden.
4. 4.1 Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Ergänzend kann auf die Erwägungen im angefochtenen Urteil verwiesen werden.
4.2 Der Beschwerdeführer ersucht um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Aufgrund der klaren, mit der bundesgerichtlichen Rechtsprechung übereinstimmenden Ausführungen der Vorinstanz sowie des Umstandes, dass sich die Rügen des Beschwerdeführers letztlich in appellatorischer Kritik an den Feststellungen der Vorinstanz erschöpfen, muss das Verfahren vor Bundesgericht als aussichtslos bezeichnet werden. Ob der Beschwerdeführer, der eine 50%ige IV-Rente bezieht und offenbar einer Erwerbstätigkeit nachgeht, bedürftig ist, braucht daher nicht näher geprüft zu werden. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung ist demnach abzuweisen (<ref-law>). Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Bei der Bemessung der Gerichtsgebühr wird der finanziellen Lage des Beschwerdeführers Rechnung getragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtsprechung und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 600.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Zürich, der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 29. April 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs