Sachverhalt: A. Der aus der Türkei stammende X._ (geb. 1960) reiste am 30. September 2002 erstmals in die Schweiz ein und ersuchte erfolglos um Asyl (Entscheid der Schweizerischen Asylrekurskommission vom 12. April 2003). Ab dem 1. Juni 2003 galt er als verschwunden. Am 20. August 2004 reiste er ohne erforderliches Visum wieder in die Schweiz ein und wurde deshalb am 3. März 2005 zu einer bedingten Gefängnisstrafe von 60 Tagen unter Ansetzung einer Probezeit von zwei Jahren verurteilt. Am 23. September 2004 heiratete X._ in Zürich die niederlassungsberechtigte serbische Staatsangehörige Y._ (geb. 1944) und erhielt in der Folge eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. B. Am 8. September 2009 stellte X._ beim Migrationsamt des Kantons Zürich ein Gesuch um Verlängerung der Aufenthaltsbewilligung. Mit Verfügung vom 21. September 2009 verweigerte das Migrationsamt die Bewilligungsverlängerung und setzte X._ Frist zum Verlassen der Schweiz. Zur Begründung führte es im Wesentlichen aus, aufgrund der gesamten Umstände der Heirat sowie der Beziehung zwischen X._ und seiner Ehefrau sei von einer Scheinehe auszugehen. Dagegen beschwerte sich X._ ohne Erfolg beim Regierungsrat und in der Folge beim Verwaltungsgericht des Kantons Zürich. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 26. August 2010 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 21. Juli 2010 aufzuheben und seine Aufenthaltsbewilligung zu verlängern. Ferner ersucht er um Gewährung der unentgeltlichen Prozessführung. Das Migrationsamt und der Regierungsrat des Kantons Zürich haben sich nicht vernehmen lassen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Mit Verfügung vom 31. August 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt.