Sachverhalt: A. Der algerische Staatsangehörige X._ (geb. 4. Februar 1980) reiste nach eigenen Angaben am 1. Dezember 2007 in die Schweiz ein und hielt sich vorerst in Genf auf. Am 25. März 2008 heiratete er in Regensdorf die fast 35 Jahre ältere schweizerische Staatsangehörige Y._, worauf ihm eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau erteilt wurde (zuletzt gültig bis zum 24. März 2010). Das eheliche Zusammenleben wurde am 20. April 2009 aufgegeben. Die Ehefrau erklärte im Juli 2009, eine Wiederaufnahme der ehelichen Beziehung komme nicht in Frage. B. Mit Verfügung vom 18. September 2009 widerrief das Migrationsamt des Kantons Zürich die Aufenthaltsbewilligung von X._. Dagegen rekurrierte der Betroffene mit Eingabe vom 3. Dezember 2009 an den Regierungsrat des Kantons Zürich. Während des Rekursverfahrens gingen aus einer ausserehelichen Beziehung von X._ mit einer Schweizer Bürgerin (geb. 1977) am 14. Juli 2010 Zwillinge hervor. X._ hat mit der Kindsmutter, die bereits eine Tochter aus einer früheren Beziehung hat, und den beiden gemeinsamen Kindern nie zusammengelebt. Er besucht die Zwillinge durchschnittlich einmal pro Woche. Eine Unterhaltsregelung besteht keine. Mit Beschluss vom 5. Oktober 2011 wies der Regierungsrat den Rekurs gegen den Widerruf der (inzwischen abgelaufenen) Aufenthaltsbewilligung und gegen die Wegweisung ab, soweit er nicht gegenstandslos geworden war. X._ gelangte dagegen erfolglos an das Verwaltungsgericht des Kantons Zürich. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 14. März 2012 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 8. Februar 2012 sowie die Verfügung des Migrationsamtes des Kantons Zürich vom 18. September 2009 vollumfänglich aufzuheben und dem Beschwerdeführer die Aufenthaltsbewilligung zu verlängern. Zudem stellt er das Gesuch, der Beschwerde hinsichtlich der mit dem angefochtenen Urteil verbundenen Ausreiseverpflichtung die aufschiebende Wirkung zu erteilen. Die Staatskanzlei des Kantons Zürich, im Auftrag des Regierungsrates, und das Bundesamt für Migration beantragen, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. D. Mit Verfügung vom 20. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.