Sachverhalt:
A. Der algerische Staatsangehörige X._ (geb. 4. Februar 1980) reiste nach eigenen Angaben am 1. Dezember 2007 in die Schweiz ein und hielt sich vorerst in Genf auf. Am 25. März 2008 heiratete er in Regensdorf die fast 35 Jahre ältere schweizerische Staatsangehörige Y._, worauf ihm eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau erteilt wurde (zuletzt gültig bis zum 24. März 2010). Das eheliche Zusammenleben wurde am 20. April 2009 aufgegeben. Die Ehefrau erklärte im Juli 2009, eine Wiederaufnahme der ehelichen Beziehung komme nicht in Frage.
B. Mit Verfügung vom 18. September 2009 widerrief das Migrationsamt des Kantons Zürich die Aufenthaltsbewilligung von X._. Dagegen rekurrierte der Betroffene mit Eingabe vom 3. Dezember 2009 an den Regierungsrat des Kantons Zürich.
Während des Rekursverfahrens gingen aus einer ausserehelichen Beziehung von X._ mit einer Schweizer Bürgerin (geb. 1977) am 14. Juli 2010 Zwillinge hervor. X._ hat mit der Kindsmutter, die bereits eine Tochter aus einer früheren Beziehung hat, und den beiden gemeinsamen Kindern nie zusammengelebt. Er besucht die Zwillinge durchschnittlich einmal pro Woche. Eine Unterhaltsregelung besteht keine.
Mit Beschluss vom 5. Oktober 2011 wies der Regierungsrat den Rekurs gegen den Widerruf der (inzwischen abgelaufenen) Aufenthaltsbewilligung und gegen die Wegweisung ab, soweit er nicht gegenstandslos geworden war. X._ gelangte dagegen erfolglos an das Verwaltungsgericht des Kantons Zürich.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 14. März 2012 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 8. Februar 2012 sowie die Verfügung des Migrationsamtes des Kantons Zürich vom 18. September 2009 vollumfänglich aufzuheben und dem Beschwerdeführer die Aufenthaltsbewilligung zu verlängern. Zudem stellt er das Gesuch, der Beschwerde hinsichtlich der mit dem angefochtenen Urteil verbundenen Ausreiseverpflichtung die aufschiebende Wirkung zu erteilen.
Die Staatskanzlei des Kantons Zürich, im Auftrag des Regierungsrates, und das Bundesamt für Migration beantragen, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet.
D. Mit Verfügung vom 20. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Ausgangspunkt des vorliegenden Verfahrens ist der Widerruf der Aufenthaltsbewilligung des Beschwerdeführers nach Art. 62 lit. d AuG. Die am 18. September 2009 widerrufene Aufenthaltsbewilligung war bis zum 24. März 2010 befristet; sie ist im Sinne von Art. 61 Abs. 1 lit. c AuG mit Ablauf ihrer Gültigkeitsdauer erloschen. Streitobjekt ist somit die Bewilligungsverlängerung, wie der Beschwerdeführer mit seinem Rechtsbegehren bekundet. Während die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Widerruf einer ausländerrechtlichen Bewilligung grundsätzlich ungeachtet davon gegeben ist, ob ein Rechtsanspruch auf die Bewilligung besteht (<ref-ruling> E. 1.2.1 S. 4; Urteil 2C_28/2012 vom 18. Juli 2012 E. 1.2), ist sie gegen andere Entscheide über ausländerrechtliche Bewilligungen unzulässig, wenn weder das Bundesrecht noch das Völkerrecht einen Anspruch darauf einräumt (<ref-law>).
Es ist unbestritten, dass der Beschwerdeführer keinen selbständigen Anspruch auf Erteilung einer Anwesenheitsbewilligung in der Schweiz hat. Hingegen macht er mit Blick auf sein Verhältnis zu seinen zwei minderjährigen Kindern einen Anspruch auf Anwesenheit gestützt auf Art. 8 EMRK und <ref-law> geltend. Da die minderjährigen Kinder des Beschwerdeführers über das Schweizer Bürgerrecht und damit über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügen, kann sich der Beschwerdeführer für seinen Verbleib auf Art. 8 EMRK berufen (so genannter "umgekehrter Familiennachzug"; vgl. <ref-ruling> E. 1.3.2 S. 146 mit Hinweisen). Damit erweist sich die Beschwerde grundsätzlich als zulässig. Ob die Voraussetzungen des angeblichen Rechtsanspruchs vorliegend erfüllt sind, ist eine Frage der materiellen Beurteilung (<ref-ruling> E. 1.3 S. 287; 305 E. 2.5 S. 315).
Nicht einzutreten ist jedoch auf den Antrag, (auch) die Verfügung des Migrationsamtes des Kantons Zürich vom 18. September 2009 aufzuheben. Aufgrund des Devolutiveffekts der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann einzig das vorinstanzliche Urteil angefochten werden, wobei der unterinstanzliche Entscheid inhaltlich als mit angefochten gilt (<ref-ruling> E. 1.4 S. 144; <ref-ruling> E. 1 S. 441, mit Hinweisen).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, falls er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>). Der Betroffene muss dartun, dass und inwiefern der festgestellte Sachverhalt in einem entscheidwesentlichen Punkt klar und eindeutig mangelhaft erscheint (Vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4). Auf rein appellatorische Kritik an der Sachverhaltsermittlung oder der Beweiswürdigung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.).
2. 2.1 Art. 8 EMRK gewährt grundsätzlich keinen Anspruch auf Aufenthalt in einem Konventionsstaat, kann aber verletzt sein, wenn eine staatliche Entfernungs- oder Fernhaltemassnahme zur Trennung von Familienmitgliedern führt und damit das Familienleben vereitelt wird (<ref-ruling> E. 4.1.1 S. 249; <ref-ruling> E. 1.3.1 S. 146 f., 153 E. 2.1; Urteil des EGMR Gezginci gegen Schweiz vom 9. Dezember 2010 [16327/05], § 54, in: Plaidoyer 2011/1 S. 56; Plädoyer 2011/1 S. 65; AJP 2011 S. 560). Unter dem Schutz von Art. 8 EMRK steht in erster Linie die Kernfamilie, das heisst das Zusammenleben minderjähriger Kinder mit ihren Eltern (<ref-ruling> E. 1.3.2 S. 146). Der Elternteil, der sich für das Zusammenleben mit seinen Kindern auf Art. 8 EMRK beruft, muss an sich über das Sorge- bzw. Obhutsrecht verfügen (vgl. <ref-ruling> E. 2.3.1 S. 290 f. mit Hinweisen).
Der nicht sorge- bzw. obhutsberechtigte Ausländer kann die familiäre Beziehung mit seinen Kindern schon aus zivilrechtlichen Gründen von vornherein nur in einem beschränkten Rahmen leben, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts. Hierzu ist nach ständiger Praxis des Bundesgerichts grundsätzlich nicht erforderlich, dass er dauernd im gleichen Land wie das Kind lebt und dort über eine Aufenthaltsbewilligung verfügt. Den Anforderungen von Art. 8 EMRK ist Genüge getan, wenn das Besuchsrecht im Rahmen von Kurzaufenthalten vom Ausland her ausgeübt werden kann, wobei allenfalls dessen Modalitäten entsprechend anzupassen sind. Ein Anspruch auf Erteilung einer Aufenthaltsbewilligung ist ausnahmsweise dann zu bejahen, wenn zwischen dem Ausländer und dessen Kindern in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung besteht, die - würde eine Bewilligung verweigert - wegen der Distanz zwischen der Schweiz und dem Land, in welches der Ausländer vermutlich auszureisen hätte, praktisch nicht aufrechterhalten werden könnte. Zudem muss sich der Ausländer tadellos verhalten haben. Nur unter diesen Voraussetzungen kann das private Interesse am Verbleib im Land gestützt auf ein Besuchsrecht ausnahmsweise das öffentliche Interesse an einer einschränkenden nationalen Einwanderungspolitik im Rahmen von Art. 8 Ziff. 2 EMRK überwiegen (<ref-ruling> E. 3c S. 5; 22 E. 4a/b S. 25 f.; Urteil 2C_704/2012 vom 23. Juli 2012 E. 4.4; Urteil des EGMR Rodrigues da Silva gegen Niederlande vom 31. Januar 2006 [50435/99], § 42 f., in: EuGRZ 33/2006 S. 562).
In den Fällen, in denen der EGMR eine Verletzung der EMRK bejahte, wenn dem geschiedenen oder nicht sorgeberechtigten ausländischen Elternteil eines aufenthaltsberechtigten Kindes das Anwesenheitsrecht entzogen wurde, handelte es sich im Übrigen durchwegs um Konstellationen, in denen der ausländische Elternteil mehrere Jahre im betreffenden Land gewohnt und dort eine Familie gegründet hatte (Urteile Nunez gegen Norwegen vom 28. Juni 2011 [55597/09], Ziff. 79 ff.; Rodrigues da Silva gegen Niederlande vom 31. Januar 2006 [50435/99], in: EuGRZ 2006 S. 562; Ciliz gegen Niederlande vom 11. Juli 2000 [29192/95]; Berrehab gegen Niederlande vom 21. Juni 1988 [10730/84]).
2.2 Der Beschwerdeführer hat weder mit der Kindsmutter noch mit den Zwillingen je in einem gemeinsamen Haushalt gelebt. Er hat die Kinder gezeugt, als ihm die Aufenthaltsbewilligung infolge Scheiterns seiner Ehe mit einer Schweizer Bürgerin widerrufen worden war, wobei er im Rekursverfahren trotz neuer Beziehung bzw. Schwangerschaft der neuen Partnerin vorerst weiter an der Ehe festhielt. Zwar behauptete der Beschwerdeführer in der Folge, er und die Mutter der Zwillinge würden eine gemeinsame Wohnung beziehen und sobald wie möglich heiraten. Dazu kam es jedoch nicht und von entsprechenden Plänen ist keine Rede mehr, da keine intakte Beziehung zur Mutter der Zwillinge besteht.
Das Erfordernis der besonderen Intensität der Beziehung setzt voraus, dass ein grosszügig ausgestaltetes Besuchsrecht eingeräumt ist und dieses kontinuierlich, spontan und reibungslos ausgeübt wird. Davon kann vorliegend nicht ausgegangen werden. Der Beschwerdeführer besucht die beiden Kleinkinder einmal wöchentlich während zwei Stunden an einem Nachmittag. Das Besuchsrecht hält sich somit zeitlich in einem sehr beschränkten Rahmen. Die Mutter der Zwillinge hat die mehr oder weniger regelmässigen Besuche und gelegentlichen Geschenke des Beschwerdeführers bestätigt, aber auch ausgesagt, dass sich dieser nicht an der täglichen Sorge für die Kinder beteilige. Zudem geht aus den Angaben sowohl des Beschwerdeführers als auch der Kindsmutter hervor, dass zwischen den Eltern gewisse Spannungen bestehen. Auch der Umstand, dass der Beschwerdeführer am Kontakt zu seinen Söhnen sehr interessiert ist, wie deren Beiständin festhält, vermag keine besonders enge affektive Beziehung darzutun, die ausnahmsweise aufgrund eines blossen Besuchsrechts ein Anwesenheitsrecht nach Art. 8 EMRK begründen könnte. Ein im üblichen Rahmen bestehendes und ausgeübtes Besuchsrecht genügt dafür in der Regel nicht (vgl. Urteil 2C_1045/2012 vom 7. Januar 2013 E. 2.3.1 mit Hinweisen).
Angesichts seines geringen Einkommens ist der Beschwerdeführer im Übrigen auch nicht in der Lage, seine Kinder finanziell zu unterstützen. Es besteht daher keine gerichtliche Unterhaltsregelung und die Kinder sind auf Sozialhilfe angewiesen. Der Beschwerdeführer beabsichtigte eine Aufstockung seines Arbeitspensums und damit eine entsprechende Erhöhung seines Einkommens. Dass ihm dies nicht gelungen ist, kann ihm zwar nicht zum Vorwurf gemacht werden, aber ändert nichts am Umstand, dass es offensichtlich auch in wirtschaftlicher Hinsicht an einer engen Beziehung zwischen dem Beschwerdeführer und den Zwillingen mangelt.
Im Weiteren ist zwar ebenfalls das Kindeswohl zu berücksichtigen, wie der Beschwerdeführer geltend macht (vgl. Art. 3 des Übereinkommens vom 20. November 1989 über die Rechte des Kindes [UNO-KRK; SR 0.107]). Über Art. 8 EMRK hinaus gehende Ansprüche auf Bewilligung ergeben sich aus der Kinderrechtskonvention jedoch nicht (vgl. <ref-ruling> E. 3b S. 367 f.; Urteil 2C_545/2012 vom 22. Februar 2013 E. 3.7).
2.3 Der Schluss der Vorinstanz, zwischen dem Beschwerdeführer und seinen Kindern bestehe weder in wirtschaftlicher noch in affektiver Hinsicht eine besonders enge Beziehung, ist somit nicht zu beanstanden. Demnach hat der Beschwerdeführer trotz seiner Besuchskontakte zu seinen beiden Kindern keinen Anspruch auf Aufenthalt gemäss der zu Art. 8 EMRK und <ref-law> zitierten Praxis. Dass der Betroffene zu keinen Klagen Anlass gegeben und selber nie Sozialhilfe bezogen hat, vermag daran nichts zu ändern, da die genannten Voraussetzungen kumulativ erfüllt sein müssen (vorne E. 2.1). Das angefochtene Urteil ist somit bundesrechts- und konventionskonform.
3. 3.1 Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
3.2 Dem Verfahrensausgang entsprechend wird der unterliegende Beschwerdeführer kostenpflichtig (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 13. März 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs