Sachverhalt:
A. Der aus der Türkei stammende X._ (geb. 1960) reiste am 30. September 2002 erstmals in die Schweiz ein und ersuchte erfolglos um Asyl (Entscheid der Schweizerischen Asylrekurskommission vom 12. April 2003). Ab dem 1. Juni 2003 galt er als verschwunden. Am 20. August 2004 reiste er ohne erforderliches Visum wieder in die Schweiz ein und wurde deshalb am 3. März 2005 zu einer bedingten Gefängnisstrafe von 60 Tagen unter Ansetzung einer Probezeit von zwei Jahren verurteilt. Am 23. September 2004 heiratete X._ in Zürich die niederlassungsberechtigte serbische Staatsangehörige Y._ (geb. 1944) und erhielt in der Folge eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau.
B. Am 8. September 2009 stellte X._ beim Migrationsamt des Kantons Zürich ein Gesuch um Verlängerung der Aufenthaltsbewilligung. Mit Verfügung vom 21. September 2009 verweigerte das Migrationsamt die Bewilligungsverlängerung und setzte X._ Frist zum Verlassen der Schweiz. Zur Begründung führte es im Wesentlichen aus, aufgrund der gesamten Umstände der Heirat sowie der Beziehung zwischen X._ und seiner Ehefrau sei von einer Scheinehe auszugehen. Dagegen beschwerte sich X._ ohne Erfolg beim Regierungsrat und in der Folge beim Verwaltungsgericht des Kantons Zürich.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 26. August 2010 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 21. Juli 2010 aufzuheben und seine Aufenthaltsbewilligung zu verlängern. Ferner ersucht er um Gewährung der unentgeltlichen Prozessführung.
Das Migrationsamt und der Regierungsrat des Kantons Zürich haben sich nicht vernehmen lassen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
Mit Verfügung vom 31. August 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Am 1. Januar 2008 hat das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) abgelöst. Für das vorliegende Gesuch um Verlängerung der Aufenthaltsbewilligung gilt demnach das neue Ausländerrecht, da dieses vor Gesuchstellung in Kraft getreten ist.
1.2 Gemäss Art. 43 Abs. 1 AuG hat der ausländische Ehegatte einer Person mit Niederlassungsbewilligung Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn die Ehegatten zusammenwohnen. Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat der ausländische Ehegatte Anspruch auf Erteilung der Niederlassungsbewilligung (Abs. 2). Der Beschwerdeführer, der seit dem 23. September 2004 mit einer Person mit Niederlassungsbewilligung verheiratet ist, hat demnach einen grundsätzlichen Anspruch auf Verlängerung seiner Aufenthaltsbewilligung. Ob ein Grund besteht, diese dennoch zu verweigern, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1 S. 179). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit zulässig (<ref-law> e contrario) und der Beschwerdeführer ist hierzu legitimiert (<ref-law>).
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2. 2.1 Gemäss Art. 51 Abs. 2 lit. a AuG erlöschen die Ansprüche nach Art. 43 AuG, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um Vorschriften dieses Gesetzes und seiner Ausführungsbestimmungen zu umgehen. Erfasst wird davon die sogenannte Scheinehe bzw. Ausländerrechtsehe. Ein Bewilligungsanspruch entfällt demnach, wenn zum Vornherein nie der Wille bestand, eine dauerhafte Gemeinschaft zu begründen, und der einzige Zweck der Heirat darin liegt, dem Ausländer zu einer fremdenpolizeilichen Bewilligung zu verhelfen (vgl. <ref-ruling> E. 2.1 S. 151 mit Hinweisen).
2.2 Das Vorliegen einer Ausländerrechtsehe darf nicht leichthin angenommen werden (vgl. <ref-ruling> E. 2.2 S. 151). Es ist Sache der Fremdenpolizeibehörden, eine Scheinehe nachzuweisen. Dabei müssen die Behörden den Sachverhalt grundsätzlich von Amtes wegen untersuchen. Der Untersuchungsgrundsatz wird aber durch die Mitwirkungspflicht der Parteien relativiert. Diese kommt naturgemäss gerade für solche Tatsachen zum Tragen, die eine Partei besser kennt als die Behörden und die ohne ihre Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand erhoben werden können (vgl. Urteil 2C_799/ 2010 vom 20. Februar 2011 E. 2.3 mit Hinweis; vgl. zur Mitwirkungspflicht: <ref-ruling> E. 3.2 S. 115; <ref-ruling> E. 2b S. 365; <ref-ruling> E. 4c/cc S. 394). Das gilt umso mehr, wenn gewichtige Hinweise für eine Ausländerrechtsehe sprechen; dann kann von den Eheleuten erwartet werden, dass sie von sich aus Umstände vorbringen, die den echten Ehewillen belegen.
2.3 Ob eine Scheinehe geschlossen wurde, entzieht sich in der Regel dem direkten Beweis und ist bloss durch Indizien zu erstellen (<ref-ruling> E. 10.2 und 10.3 S. 135 f. mit Hinweis). Feststellungen des kantonalen Richters über das Bestehen von solchen Hinweisen können äussere Gegebenheiten, aber auch innere psychische Vorgänge betreffen (Wille der Ehegatten). In beiden Fällen handelt es sich um tatsächliche Feststellungen, welche für das Bundesgericht grundsätzlich verbindlich sind (vgl. E. 1.3; <ref-ruling> E. 1.4.3 S. 254 f.). Frei zu prüfen ist dagegen die Rechtsfrage, ob die festgestellten Tatsachen (Indizien) darauf schliessen lassen, die Berufung auf die Ehe sei rechtsmissbräuchlich oder bezwecke die Umgehung fremdenpolizeilicher Vorschriften (<ref-ruling> E. 2.3 S. 152 mit Hinweisen). Für die Annahme einer Scheinehe bedarf es konkreter Hinweise darauf, dass die Ehegatten nicht eine eigentliche Lebensgemeinschaft führen wollen, sondern die Ehe nur aus fremdenpolizeilichen Überlegungen geschlossen haben. Diesbezügliche Indizien lassen sich unter anderem darin erblicken, dass dem Ausländer die Wegweisung drohte, etwa weil er ohne Heirat keine Aufenthaltsbewilligung erhalten hätte oder sie ihm nicht verlängert worden wäre. Für das Vorliegen einer Ausländerrechtsehe können sodann die Umstände und die kurze Dauer der Bekanntschaft sprechen sowie insbesondere die Tatsache, dass die Ehegatten eine Wohngemeinschaft gar nie aufgenommen haben. Dasselbe gilt, wenn für die Heirat eine Bezahlung vereinbart wurde oder wenn ein erheblicher Altersunterschied zwischen den Ehepartnern besteht. Dass die Begründung einer wirklichen Lebensgemeinschaft gewollt war, kann umgekehrt nicht schon daraus abgeleitet werden, dass die Ehegatten während einer gewissen Zeit zusammenlebten und intime Beziehungen unterhielten; ein derartiges Verhalten kann auch nur vorgespiegelt sein, um die Behörden zu täuschen (<ref-ruling> E. 2b S. 295 mit Hinweisen). Eine Scheinehe liegt demgegenüber nicht bereits dann vor, wenn ausländerrechtliche Motive für den Eheschluss mitentscheidend waren. Erforderlich ist zusätzlich, dass der Wille zur Führung einer Lebensgemeinschaft - zumindest bei einem der Ehepartner - von Anfang an nicht gegeben ist (<ref-ruling> E. 2.1 S. 151; <ref-ruling> E. 4 und E. 5 S. 55 ff.).
3. 3.1 Das angefochtene Urteil geht zutreffend von diesen rechtlichen Vorgaben aus. Als Indizien für das Vorliegen einer Scheinehe führen die kantonalen Behörden vorab die ausländerrechtliche Interessenlage, die Scheidung von der türkischen Ehefrau kurz nach der Verweigerung des Asyls, den Altersunterschied von 16 Jahren, die für eheliches Zusammenwohnen wenig geeignete Wohnsituation, die Begleichung von Schulden der serbischen Ehefrau am Tage nach der Hochzeit durch den Beschwerdeführer, die erhebliche finanzielle Unterstützung der ehemaligen Ehefrau in der Türkei sowie auffällige Wissenslücken betreffend den Ehepartner auf. Es kann diesbezüglich vollumfänglich auf die detaillierten, für das Bundesgericht grundsätzlich verbindlichen Feststellungen (vgl. E. 1.3) der Vorinstanz verwiesen werden.
3.2 Der Beschwerdeführer setzt sich mit den Erwägungen der Vorinstanz betreffend seine im kantonalen Rechtsmittelverfahren erhobenen Rügen nicht auseinander, sondern wiederholt im Wesentlichen einzig, was er bereits im vorinstanzlichen Verfahren vorbrachte. So geht er beispielsweise nicht näher auf die Feststellung des Verwaltungsgerichts ein, die Suche nach einer geeigneteren Unterkunft sei nicht belegt, sondern behauptet lediglich, er habe diese Suche bewiesen. Er setzt sich ebenfalls nicht mit der Feststellung der Vorinstanz auseinander, die Ehefrau des Beschwerdeführers habe erklärt, sie wohne hauptsächlich bei ihrem Sohn, sowie weitere (von der Vorinstanz dargelegte) Umstände stützten die Annahme, dass sie sich jedenfalls nicht - und sei es auch nur nachts - mehrheitlich beim Beschwerdeführer aufhalte. Diesbezüglich bringt der Beschwerdeführer lediglich vor, es sei in der Türkei und in der Heimat seiner Frau Brauch, dass die Grossmutter ein oder zwei Nächte pro Woche bei den Grosskindern bleibe. Wesentlich erscheint sodann insbesondere, dass er mit keinem Wort darlegt, inwiefern er sich um die Pflege und Aufrechterhaltung der ehelichen Beziehung gesorgt hat. Seiner Beschwerde lässt sich zudem entnehmen, dass seine Ehefrau schlecht deutsch spricht; er macht aber nicht geltend, er unterhalte sich mit ihr auf Türkisch, sondern führt aus, er kommuniziere mit ihr mittels Gebärden, ein paar Bemerkungen, Berührungen.
3.3 Im Verwaltungsprozessrecht gilt ganz allgemein der Grundsatz der freien Beweiswürdigung (<ref-ruling> E. 3.2 S. 485). Frei ist die Beweiswürdigung vor allem darin, dass sie nicht an bestimmte starre Beweisregeln gebunden ist, die dem Richter vorschreiben, wie ein gültiger Beweis zu Stande kommt und welchen Beweiswert die einzelnen Beweismittel im Verhältnis zueinander haben. Freie Beweiswürdigung ist nicht mit freiem Ermessen zu verwechseln; es wird keine Wahlfreiheit eingeräumt (FRITZ GYGI, Bundesverwaltungsrechtspflege, 2. Auflage 1983 S. 278/279). Im Bereich der Beweiswürdigung steht dem Sachgericht jedoch ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. <ref-ruling> E. 2.1 S. 211; <ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 1b S. 30).
Was der Beschwerdeführer vorbringt, vermag die von der Vorinstanz vorgenommene ausführliche und detaillierte Würdigung der verschiedenen für eine Scheinehe sprechenden Indizien nicht zu erschüttern. Es liegt weder eine willkürliche Sachverhaltsermittlung noch eine willkürliche Beweiswürdigung vor. Nachdem der Beschwerdeführer insbesondere den Nachweis für eine gelebte Ehegemeinschaft nicht erbringt, ist nicht zu beanstanden, dass das Verwaltungsgericht aufgrund der gesamten Umstände geschlossen hat, der Beschwerdeführer sei mit Y._ die Ehe bloss eingegangen, um sich ein Anwesenheitsrecht in der Schweiz zu verschaffen, weshalb nach Art. 51 Abs. 2 lit. a AuG der Anspruch des Beschwerdeführers auf Verlängerung seiner Aufenthaltsbewilligung entfalle. Die vom Migrationsamt verfügte und von den kantonalen Rechtsmittelinstanzen geschützte Nichtverlängerung dieser Bewilligung verletzt demnach auch das nach Art. 8 EMRK und <ref-law> geschützte Familienleben nicht.
4. 4.1 Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen.
4.2 Der Beschwerdeführer ersucht um Gewährung der unentgeltlichen Rechtspflege. Nach <ref-law> befreit das Bundesgericht eine Partei, die nicht über die erforderlichen Mittel verfügt, auf Antrag von der Bezahlung der Gerichtskosten und von der Sicherstellung der Parteientschädigung, sofern ihr Rechtsbegehren nicht aussichtslos erscheint (Abs. 1). Aufgrund der klaren Ausführungen und der zutreffenden Darlegung der bundesgerichtlichen Rechtsprechung im vorinstanzlichen Entscheid sowie des Umstandes, dass sich die Rügen des Beschwerdeführers letztlich in appellatorischer Kritik am angefochtenen Entscheid erschöpfen, muss das Verfahren vor Bundesgericht als aussichtslos bezeichnet werden. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege ist demnach abzuweisen. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65/66 BGG). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
3. Die Gerichtskosten von Fr. 600.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 12. April 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Zünd Dubs