Sachverhalt:
A.
A.a. A._, geboren 1984, Staatsangehöriger von Bangladesh, reiste am 23. April 2004 in die Schweiz ein, wo er erfolglos um Asyl nachsuchte. Am 12. Dezember 2005 heiratete er die 1960 geborene Schweizerin B._, worauf ihm eine Aufenthaltsbewilligung für den Kanton Zürich erteilt wurde. Am 10. November 2006 zog das Ehepaar in den Kanton Aargau, wo A._ ebenfalls eine Aufenthaltsbewilligung erhielt. Nachdem er am 12. Juli 2007 allein in den Kanton Zürich zurückgekehrt war, beantragte er dort die Erteilung einer Aufenthaltsbewilligung. Da B._ dem Migrationsamt mitgeteilt hatte, dass die Ehegemeinschaft am 19. Januar 2007 aufgegeben worden sei, wies das Amt mit rechtskräftiger Verfügung vom 13. November 2007 das Gesuch ab. Die Ehe von A._ und B._ wurde am 12. Februar 2008 geschieden.
A.b. Am 7. Mai 2008 heiratete A._ die ursprünglich aus Jamaika stammende Schweizer Bürgerin C._, worauf ihm eine Aufenthaltsbewilligung für den Kanton Zürich erteilt wurde, letztmals verlängert bis zum 6. Mai 2012. Am 18. Januar 2011 gebar C._ einen Sohn. Mit rechtskräftigem Urteil des Bezirksgerichts Bülach vom 25. Mai 2011 wurde festgestellt, dass A._ nicht der Vater des Kindes ist; dieses wurde am 30. Mai 2011 vom Schweizer Bürger D._ anerkannt. Auf Anfrage des Migrationsamts teilte C._ mit, die eheliche Wohngemeinschaft sei etwa im Dezember 2009 aufgegeben worden. A._ seinerseits teilte mit, die Ehegemeinschaft sei im Dezember 2010 aufgegeben worden.
A.c. Mit Verfügung vom 14. Juni 2012 wies das Migrationsamt A._s Gesuch um Verlängerung der Aufenthaltsbewilligung ab.
B.
Die dagegen erhobenen kantonalen Rechtsmittel blieben erfolglos (Rekursentscheid der Sicherheitsdirektion vom 16. März 2013; Urteil des Verwaltungsgerichts vom 21. August 2013, worin eine Frist zum Verlassen der Schweiz bis 30. November 2013 bzw. bis drei Monate nach einem allfälligen bestätigenden bundesgerichtlichen Entscheid angesetzt wurde).
C.
A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde mit dem Antrag, das angefochtene Urteil sei aufzuheben und es sei ihm die Aufenthaltsbewilligung zu verlängern. Eventualiter seien die Akten an die Vorinstanz oder an das Migrationsamt zurückzuweisen mit der Auflage, eine Verlängerung der Aufenthaltsbewilligung gestützt auf Art. 30 Abs. 1 lit. b AuG materiell zu prüfen. Zudem beantragt er die unentgeltliche Rechtspflege.
Mit Verfügung vom 27. September 2013 wurde das Gesuch um unentgeltliche Rechtspflege mangels Bedürftigkeit abgewiesen, worauf A._ den Kostenvorschuss bezahlte.
Die Sicherheitsdirektion und das Verwaltungsgericht verzichten auf Vernehmlassung. Das Bundesamt für Migration beantragt Abweisung der Beschwerde.
Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 10. Februar 2014 wurde der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.
Das Bundesgericht hat die Angelegenheit am 25. März 2014 in einer öffentlichen Sitzung beraten.
Erwägungen:
1.
1.1. Der Beschwerdeführer beruft sich in vertretbarer Weise (vgl. BGE 136 II 177 E. 1.1 S. 179) auf einen Bewilligungsanspruch gestützt auf Art. 50 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20), so dass insoweit die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 82 lit. a, Art. 83 lit. c Ziff. 2, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer ist als abgewiesener Gesuchsteller zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Ob der geltend gemachte Anspruch tatsächlich besteht, ist Sache der materiellen Beurteilung.
1.2. Soweit kein Anspruch auf Bewilligung besteht, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig. Sie ist auch unzulässig über Entscheide betreffend Abweichungen von den Zulassungsvoraussetzungen (Art. 83 lit. c Ziff. 5 BGG), also namentlich soweit sich der Beschwerdeführer auf Art. 30 Abs. 1 lit. b AuG beruft (Urteil 2C_75/2011 vom 6. April 2011 E. 1.1.1; 2C_766/2009 vom 26. Mai 2010 E. 4). Zulässig ist insoweit nur die subsidiäre Verfassungsbeschwerde (Art. 113 ff. BGG). Dazu ist legitimiert, wer u.a. ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (Art. 115 BGG). Es kann mit ihr nur die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Dazu gehört namentlich die Rüge der Verletzung von Parteirechten, deren Missachtung einer formellen Rechtsverweigerung gleichkommt (sog. "Star"-Praxis; BGE 137 II 305 E. 2 S. 308). Die Rüge muss in der Beschwerde vorgebracht und begründet werden (Art. 117 i.V.m. Art. 106 Abs. 2 BGG). Soweit der Beschwerdeführer im Zusammenhang mit Art. 30 Abs. 1 lit. b AuG eine Verletzung von Art. 29 Abs. 1 und 2 BV rügt, ist auf die Verfassungsbeschwerde einzutreten.
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG). Eine solche Rüge ist rechtsgenüglich vorzutragen (Art. 106 Abs. 2 BGG; BGE 136 II 304 E. 2.4/2.5). Soweit der Beschwerdeführer eine eigene Darstellung des Sachverhalts vorbringt, ohne im genannten Sinne die Sachverhaltsfeststellungen der Vorinstanz in Frage zu ziehen, ist darauf nicht einzugehen.
2.
Der ursprünglich aus der Ehe mit Schweizer Bürgerinnen abgeleitete Anspruch auf Aufenthaltsbewilligung gemäss Art. 42 AuG ist mit dem Ende des ehelichen Zusammenlebens entfallen. Gemäss Art. 50 Abs. 1 AuG besteht aber nach Auflösung der Ehe oder der Familiengemeinschaft der Anspruch des Ehegatten auf Erteilung und Verlängerung der Aufenthaltsbewilligung nach den Artikeln 42 und 43 weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (lit. a) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b).
Bei der letztgenannten Bestimmung geht es darum, Härtefälle bei der Bewilligungsverlängerung nach der Auflösung der ehelichen Gemeinschaft zu vermeiden (vgl. BGE 136 II 1 E. 5.3 S. 4). Art. 50 Abs. 1 lit. b AuG ist mithin für Situationen gedacht, in denen die Voraussetzungen der Litera a nicht erfüllt sind, sei es, dass der Aufenthalt während der Ehe von kürzerer Dauer war oder dass die Integration nicht fortgeschritten ist oder es an beidem fehlt (vgl. BGE 137 II 1 E. 4.1 S. 7), aber - aufgrund sämtlicher weiterer Umstände - eine Härtefallsituation vorliegt, welche früher im Rahmen von Art. 13 lit. f BVO (AS 1986 1792) hätte berücksichtigt werden können (BGE 137 II 345 E. 3.2.1 S. 348 f.).
3.
Zu prüfen ist zunächst der Anspruch aufgrund von Art. 50 Abs. 1 lit. a AuG.
3.1. Nach den verbindlichen Feststellungen der Vorinstanz lebte der Beschwerdeführer in der Schweiz mit seiner ersten Ehefrau vom 12. Dezember 2005 bis mindestens 19. Januar und längstens 17. Juli 2007 zusammen, mithin längstens ca. ein Jahr und sieben Monate; mit seiner zweiten Ehefrau lebte er vom 7. Mai 2008 bis Dezember 2010 zusammen, mithin während zwei Jahren und sieben Monaten. Keine der beiden ehelichen Gemeinschaften erreichte die dreijährige Dauer gemäss Art. 50 Abs. 1 lit. a AuG; zusammengerechnet ergäben sich jedoch mehr als drei Jahre. Die Vorinstanz geht davon aus, dass für die Berechnung der Dreijahresfrist mehrere kürzere Ehen nicht zusammengerechnet werden können. Der Beschwerdeführer bringt demgegenüber vor, er erfülle die Voraussetzungen von Art. 50 Abs. 1 lit. a AuG. Streitig und zu prüfen ist somit in erster Linie, ob für die Berechnung der Dreijahresdauer mehrere kürzere Dauern zusammengerechnet werden können. Das Bundesgericht hat diese Frage in den Urteilen 2C_73/2012 vom 25. März 2013 E. 2.2.3 und 2C_405/2013 vom 8. Mai 2013 E. 3.3.1 offengelassen. Sie ist hier zu beantworten. Ergibt sich die Antwort nicht aus dem Gesetz oder seiner Auslegung (Art. 1 Abs. 1 ZGB), läge eine Lücke vor, welche analog zu Art. 1 Abs. 2 ZGB durch richterliche Rechtsschöpfung zu füllen wäre (BGE 122 I 253 E. 6 S. 254 ff.; 99 V 19 E. 2 S. 21 f.).
3.2. Ausgangspunkt jeder Auslegung bildet der Wortlaut der Bestimmung. Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente, namentlich von Sinn und Zweck sowie der dem Text zugrunde liegenden Wertung. Wichtig ist ebenfalls der Sinn, der einer Norm im Kontext zukommt. Vom klaren, d.h. eindeutigen und unmissverständlichen Wortlaut darf nur ausnahmsweise abgewichen werden, wenn triftige Gründe dafür vorliegen, dass der Wortlaut nicht den wahren Sinn der Bestimmung wiedergibt. Solche Gründe können sich aus der Entstehungsgeschichte der Bestimmung, aus ihrem Sinn und Zweck oder aus dem Zusammenhang mit andern Vorschriften ergeben (BGE 140 II 129 E. 3.2 S. 131; 139 V 66 E. 2.2 S. 68; 138 V 86 E. 5.1 S. 94 mit Hinweisen).
3.3. Nach dem Wortlaut des Gesetzes muss "die Ehegemeinschaft" ("l'union conjugale", "l'unione coniugale") mindestens drei Jahre bestanden haben. Der grammatikalische Singular legt nahe, dass die Dreijahresfrist für eine einzelne Ehegemeinschaft gilt, nicht für mehrere zusammen.
3.4. Entstehungsgeschichte
3.4.1. Die Botschaft des Bundesrates sah den heute in Art. 50 Abs. 1 lit. a AuG statuierten Anspruch auf Verlängerung der Aufenthaltsbewilligung nach dreijähriger Ehegemeinschaft und bei guter Integration noch nicht vor. Vielmehr beschränkte sich der Gesetzesentwurf darauf, den Weiterbestand des Aufenthaltsrechts eines ausländischen Ehegatten nach Auflösung der ehelichen Gemeinschaft dann zu gewährleisten, wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 49 des Gesetzesentwurfes; entspricht Art. 50 Abs. 1 lit. b AuG). Zur Begründung wurde ausgeführt (BBl 2002 3754), diese Lösung entspreche weitgehend dem vom Nationalrat gutgeheissenen Vorschlag zur Parlamentarischen Initiative Goll «Rechte für Migrantinnen» (96.461). Diese Initiative, war damit begründet worden, gewaltbetroffene ausländische Frauen müssten zwangsweise zu einem gewalttätigen Ehemann zurückkehren, wenn sie nicht die Ausweisung aus der Schweiz riskieren wollten; eine Trennung oder Scheidung komme für sie nicht in Frage, weshalb Männer ihre Vorrechte sehr gut zu missbrauchen wüssten (BBl 1999 2775). Die Botschaft zum AuG führte weiter aus:
"Ein weiterer Aufenthalt in der Schweiz kann sich etwa dann als erforderlich erweisen, wenn der in der Schweiz lebende Ehepartner verstorben ist oder wenn aufgrund der gescheiterten Ehe die familiäre und soziale Wiedereingliederung im Herkunftsland stark erschwert wird. Dies gilt auch, wenn gemeinsame Kinder vorhanden sind, zu denen eine enge Beziehung besteht und die in der Schweiz gut integriert sind. Zu berücksichtigen sind jedoch stets auch die Umstände, die zur Auflösung der Gemeinschaft geführt haben. Steht fest, dass die im Familiennachzug zugelassene Person durch das Zusammenleben in ihrer Persönlichkeit ernstlich gefährdet ist und ihr eine Fortführung der ehelichen Beziehung nicht länger zugemutet werden kann, ist dies beim Entscheid besonders in Rechnung zu stellen.
Demgegenüber ist eine Rückkehr zumutbar, wenn der Aufenthalt in der Schweiz nur kürzere Zeit gedauert hat, keine engen Beziehungen zur Schweiz geknüpft wurden und die erneute Integration im Herkunftsland keine besonderen Probleme stellt. Wichtig ist, dass jeweils die konkreten Umstände des Einzelfalls geprüft werden. Mit der Gewährung eines gesetzlichen Aufenthaltsrechts wird auch die Praxis in den einzelnen Kantonen harmonisiert."
3.4.2. Im Nationalrat als Erstrat (Amtl. Bull. 2004 N 1060 ff.) beantragte die Kommissionsmehrheit die Gesetz gewordene Fassung. Die Kommission wollte damit eine ausgewogene Lösung realisieren, die einerseits Missbräuche mit Scheinehen vermeidet und andererseits verhindern soll, dass Ehegatten den ausländerrechtlichen Status ihrer Partner (innen) missbrauchen, um ihnen gegenüber Gewalt auszuüben (a.a.O. 1064, Kommissionssprecher Beck). Dem Antrag der Kommissionsmehrheit standen einschränkendere und weiter gehende Anträge gegenüber. Die weiter gehenden Anträge wurden damit begründet, es gehe vor allem darum, gewaltbetroffene ausländische Ehefrauen vor dem Dilemma zu schützen, bei einem gewalttätigen Gatten verbleiben zu müssen oder die Aufenthaltsbewilligung zu verlieren; es wurde kritisiert, die Dreijahresdauer würde dazu führen, dass diese Frauen drei Jahre lang in einer unzumutbaren Ehe ausharren müssten (AB 2004 N 1062 f. Voten Vermot-Mangold, Menétrey-Savary, Thanei). Einschränkendere Anträge wollten den Anspruch in eine Kann-Formulierung umwandeln oder die Frist auf fünf Jahre verlängern, mit dem Anliegen, Missbräuche oder Scheinehen zu bekämpfen; drei Jahre Ehe, und seien sie auch schlecht, könne man aussitzen, um so ein Aufenthaltsrecht in der Schweiz zu erhalten (schriftliche Begründung Antrag Wasserfallen). Der schliesslich obsiegende Antrag wurde als Zwischenlösung bezeichnet, die einerseits einen Anspruch festschreibt, diesen aber an klare Bedingungen knüpft (a.a.O., 1064, Pfister, Kommissionssprecher Beck). Die Dreijahresfrist sei die aktuelle Praxis in den meisten Kantonen (a.a.O., 1064, BR Blocher; vgl. BGE 136 II 113 E. 3.3.1 S. 117 f.). Der Ständerat stimmte diesem Vorschlag diskussionslos zu (AB 2005 S 310 f.; vgl. BGE 136 II 1 E. 5.2 S. 3 f.)
3.4.3. Die Entstehungsgeschichte gibt somit keine direkte Antwort auf die hier zu beantwortende Frage. Sie erlaubt aber Rückschlüsse auf Sinn und Zweck der Regelung: Nach dem Kontext der Entstehungsgeschichte (Parlamentarische Initiative Goll) ging es vor allem um Frauen, die zusammen mit ihrem Mann in die Schweiz gekommen sind oder mit einem in der Schweiz lebenden Mann (zwangs-) verheiratet wurden (vgl. auch die seit dem 1. Juli 2013 in Kraft stehende Neufassung von Art. 50 Abs. 2 AuG). Der Gesetzgeber wollte mit Art. 50 AuG in erster Linie die Ehegatten nach Auflösung der Ehe schützen, um sie nicht vor das Dilemma zu stellen, entweder in einer unzumutbaren ehelichen Gemeinschaft zu verbleiben oder allein in ein gesellschaftliches Umfeld zurückzukehren, wo sie wegen ihrer Trennung oder Scheidung möglicherweise geächtet werden (BGE 140 II 129 E. 3.5 S. 132 f.; vgl. auch BGE 138 II 229 E. 3.1 S. 231 f.). Der Gesetzgeber wollte mit der Statuierung der im Entwurf des Bundesrates noch nicht enthaltenen dreijährigen Ehedauer (vorne E. 3.4.1) aber auch - nebst der beabsichtigten Vereinheitlichung der kantonalen Praxen (vgl. BGE 137 II 345 E. 3.2.1 S. 348 f.) - die "wichtigen Gründe" objektivieren in dem Sinne, dass nach dreijähriger Ehegemeinschaft underfolgreicher Integration solche Gründe von Gesetzes wegen angenommen werden, ohne dass sie für ein Weiterbestehen des Anspruchs auf eine Verlängerung der Aufenthaltsbewilligung noch gesondert geltend gemacht werden müssten. Ausser in den Fällen wichtiger persönlicher Gründe soll dafür aber eine kürzere als dreijährige Ehedauer nicht genügen. Derartige Konstellationen - also wichtige persönlich Gründe trotz kürzerer Ehedauer - werden nach dem Willen des Gesetzgebers vielmehr (als nacheheliche Härtefälle) von Art. 50 Abs. 1 lit. b AuG (vorne E. 2, am Ende) erfasst, bei denen sämtliche Umstände des Einzelfalles mitzuberücksichtigen sind (BGE 137 II 345 E. 3.2.1 S. 348) und die - aufgrund der anspruchsbegründenden Ausgestaltung von Art. 50 AuG - auch der richterlichen Überprüfbarkeit zugänglich sind.
3.5.
3.5.1. Wie das Bundesgericht in BGE 136 II 113 E. 3.3.3 ausgeführt hat, muss die Dreijahresdauer von Art. 50 Abs. 1 lit. a AuG im Zusammenhang mit der zweiten Voraussetzung - der gelungenen Integration - betrachtet werden. Deshalb muss nach der Rechtsprechung die Ehegemeinschaft in der Schweiz geführt worden sein (BGE 136 II 113 E. 3.3 S. 117 ff.; 137 II 345 E. 3.1.3 S. 347). Nicht erforderlich ist eine ununterbrochene Dreijahresdauer in der Schweiz; unterbricht das Ehepaar das Zusammenleben in der Schweiz durch Auslandaufenthalte, hat es aber insgesamt drei Jahre in der Schweiz zusammengelebt, ist die Dreijahresdauer nach Art. 50 Abs. 1 lit. a AuG erreicht (Urteil 2C_430/2011 vom 11. Oktober 2011 E. 4.1.2; SPESCHA/ZÜND/THÜR/ BOLZLI, Migrationsrecht, 3. Auflage 2012, N 4 zu Art. 50). Nicht zusammenzurechnen sind solche Aufenthalte von kurzer Dauer, unterbrochen durch längere Trennungszeiten, wenn dabei die ernsthafte Führung eines Ehelebens nicht beabsichtigt war (Urteil 2C_231/2011 vom 21. Juli 2011 E. 4.6). Ob (ausserhalb des Anwendungsbereichs von Art. 49 AuG) mehrere kürzere Phasen des Zusammenlebens, unterbrochen durch eine halbjährige Trennung, zusammengerechnet werden können, hat das Bundesgericht im Urteil 2C_830/2010 vom 10. Juni 2011 E. 2.2.2 offengelassen.
3.5.2. Im Lichte dieser Rechtsprechung kann man sich fragen, ob das entscheidende Kriterium bei der Anwendung von Art. 50 Abs. 1 lit. a AuG nicht der Grad der Integration bildet und die Voraussetzung des dreijährigen Zusammenlebens lediglich dazu dient, die Bewilligungserteilung unterhalb eines solchen auszuschliessen, kann doch eine ausländische Person, die sich etwa im Rahmen von zwei Ehen fünfeinhalb Jahre im Land aufgehalten hat, unter Umständen ebenso gut oder gar besser integriert sein, als wer drei Jahre in der Schweiz in einer einzigen Ehe gelebt hat (vgl. THOMAS HUGI YAR, Von Trennungen, Härtefällen und Delikten - Ausländerrechtliches rund um die Ehe- und Familiengemeinschaft, Jb. für Migrationsrecht 2012/2013, S. 31 ff., 72). Auch der Beschwerdeführer ist der Auffassung, dem Gesetzgeber sei vor allem die Integration wichtig gewesen; er betrachte bei Auflösung einer Ehe nach dreijährigem Aufenthalt in der Schweiz die Integration bereits als dermassen fortgeschritten, dass die Aufenthaltsbewilligung zu verlängern sei.
3.5.3. Indessen kann es für eine Anspruchsbewilligung nach Art. 50 Abs. 1 lit. a AuG nicht allein auf den Grad der Integration ankommen, hätte der Gesetzgeber diesfalls doch generell und unabhängig von einer vorangegangenen Ehe einen Aufenthaltsanspruch nach drei Jahren und bei guter Integration statuiert. Das Gesetz verlangt aber ausdrücklich als zusätzliche Voraussetzung ein dreijähriges Leben in Ehegemeinschaft. Es kann nicht aus der einen Voraussetzung auf die andere geschlossen werden oder umgekehrt.
3.6.
3.6.1. Art. 50 AuG steht sodann systematisch im Zusammenhang mit Art. 42 und 43 AuG: Für seine Auslegung ist auch die dort massgebende Auslegung zu berücksichtigen (BGE 140 II 129 E. 3.4 S. 132; 136 II 113 E. 3.3.2 S. 118 f.). Der aus Art. 50 AuG fliessende Anspruch schliesst an die Anwesenheitsansprüche von Art. 42 Abs. 1 und Art. 43 Abs. 1 AuG an ("Weiterbestehen") und knüpft nach der gesetzgeberischen Intention an die spezifische Lebenssituation nach dem Dahinfallen dieser abgeleiteten Anwesenheitsberechtigung an (vorne E. 3.4.3; vgl. in Bezug auf Art. 50 Abs. 1 lit. b BGE 137 II 345 E. 3.2.3 S. 349 f.; 138 II 393 E. 3.1 S. 394). Ist dieser Zusammenhang unterbrochen und der Anspruch nach Art. 50 AuG untergegangen, weil es am Zusammenwohnen fehlte (ohne dass wichtige Gründe für das Getrenntleben gegeben gewesen wären), kann der Anspruch nach Art. 50 AuG regelmässig nicht wieder aufleben (BGE 137 II 345 E. 3.2.3 S. 349 f.; 2C_365/2010 vom 22. Juni 2011 E. 3.5; 2C_590/2010 vom 29. November 2010 E. 2.5.3).
Der Beschwerdeführer selber zieht in systematischer Auslegung eine Analogie zum Anspruch auf Niederlassungsbewilligung: Ein Ausländer, der z.B. zwei Mal je zwei Jahre verheiratet gewesen sei, könne gemäss Art. 34 Abs. 3 (recte wohl: 4) AuG in dritter Ehe bereits nach einem Jahr die Niederlassungsbewilligung beantragen. Dieser Vergleich hinkt aber schon deshalb, weil Art. 34 Abs. 4 AuG keinen Rechtsanspruch auf die Niederlassungsbewilligung gibt und dies bei den Anspruchsbewilligungen von Art. 42 und 43 AuG ganz anders aussieht (dazu sogleich).
3.6.2. Nach Art. 42 Abs. 3 und Art. 43 Abs. 2 AuG haben Ehegatten von Schweizerinnen und Schweizern bzw. Niedergelassenen nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren Anspruch auf die Niederlassungsbewilligung. Dazu hat das Bundesgericht mehrmals festgehalten, dass der Anspruch nach Art. 42 Abs. 3 AuG das Bestehen des ehelichen Zusammenlebens bzw. einer Haushaltsgemeinschaft während fünf Jahren in der Schweiz voraussetzt (Urteile 2C_899/2011 vom 20. April 2012 E. 2.1; 2C_568/2011 vom 16. November 2011 E. 3.2; 2C_284/2011 vom 21. September 2011 E. 2.2; 2C_220/2011 vom 1. Juni 2011 E. 2.3), dies in Übereinstimmung mit der Rechtsprechung zu den gleichlautenden Bestimmungen von Art. 7 Abs. 1 Satz 2 und Art. 17 Abs. 2 Satz 2 ANAG (BGE 130 II 49 E. 3.2.2 S. 54; 127 II 60 E. 1c S. 63; 122 II 145 E. 3b S. 147). Die fünfjährige Frist beginnt mit dem Datum der Heirat bzw. der Einreise in die Schweiz, und der Ehegatte muss die ganzen fünf Jahre über das Schweizer Bürgerrecht bzw. eine Niederlassungsbewilligung verfügt haben. Entscheidend ist, ob die betreffenden Personen in der Schweiz fünf Jahre als Ehegatten zusammengelebt haben (BGE 130 II 49 E. 3.2.3 S. 54; 128 II 145 E. 1.1.5 S. 149 f.; 122 II 145 E. 3b S. 147; Urteil 2A.491/2006 vom 16. November 2006 E. 2.2.1). Ein Anspruch auf Niederlassungsbewilligung kann nicht entstehen, wenn zwei verschiedene Ehen insgesamt fünf Jahre gedauert haben, da es dabei an einem ununterbrochenen auf Art. 7 ANAG gestützten ordnungsgemässen Aufenthalt von fünf Jahren fehlt (Urteil 2C_776/2008 vom 27. Oktober 2008 E. 2.2). Endet die Ehegemeinschaft und wird daraufhin eine neue Ehe eingegangen, so beginnt eine neue Fünfjahresfrist zu laufen (vgl. Urteil 2A.63/2003 vom 4. November 2003 E. 4.2).
3.6.3. Das muss nach der gesetzlichen Systematik analog auch für die Dreijahresfrist nach Art. 50 Abs. 1 lit. a AuG gelten: Der Ehegatte einer Schweizer Bürgerin erhält zunächst eine Aufenthaltsbewilligung (Art. 42 Abs. 1 AuG) für ein Jahr; sie kann um zwei Jahre verlängert werden (Art. 58 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE, SR 142.201]). Endet vor Ablauf der Bewilligungsdauer die Ehegemeinschaft, so erlischt der Anspruch auf Bewilligung; die Aufenthaltsbewilligung kann widerrufen werden (Art. 62 lit. d AuG; Silvia Hunziker, Handkommentar AuG, N 44 zu Art. 62; BGE 120 Ib 16 E. 2c/d S. 17 ff.; Urteil 2C_886/2011 vom 28. Februar 2012 E. 3.1; 2C_21/2007 vom 16. April 2007 E. 2) bzw. es ist eine neue Bewilligung erforderlich (Art. 54 VZAE), auf welche kein Rechtsanspruch besteht. Wird eine solche neue Bewilligung nicht erteilt, so endet grundsätzlich die Aufenthaltsberechtigung des Ausländers und dieser hat die Schweiz zu verlassen (Art. 64 Abs. 1 AuG). Heiratet er in der Folge erneut eine Schweizer Bürgerin oder eine Niedergelassene, so lebt nicht der Anspruch nach Art. 50 AuG wieder auf (vorne E. 3.6.1), sondern es entsteht ein neuer Anspruch gestützt auf Art. 42 oder 43 AuG und die Dreijahresfrist beginnt erneut zu laufen (vgl. vorne E. 3.6.2 für die Niederlassungsbewilligung).
Mit dieser systematischen Einordnung von Art. 50 Abs. 1 lit. a AuG wird der inhaltliche Konnex zu Art. 42 und 43 AuG gewahrt: In den ersten drei Jahren Ehegemeinschaft - immer ausgehend von ein und derselben Ehe - hat der ausländische Ehegatte einen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung. Nach drei Jahren ununterbrochener Ehegemeinschaft hat er denselben Anspruch auch nach Auflösung dieser Gemeinschaft. Und nach fünf Jahren ununterbrochener Ehegemeinschaft entsteht der Anspruch auf Erteilung der Niederlassungsbewilligung.
3.7. Die grammatikalische, entstehungsgeschichtliche, systematische und teleologische Auslegung von Art. 50 Abs. 1 lit. a AuG führt nach dem Gesagten zum Ergebnis, dass für die Berechnung der dort genannten Dreijahresfrist mehrere kürzere Ehegemeinschaften nicht zusammengerechnet werden können. Eine Gesetzeslücke, die durch richterliche Rechtsschöpfung zu füllen wäre (vorne E. 3.1), liegt damit nicht vor.
3.8. Vorliegend hatte der Beschwerdeführer einen Anspruch auf Aufenthaltsbewilligung, solange er mit seiner ersten Ehefrau zusammenlebte. Mit der Trennung im Januar oder Juli 2007 endete dieser Anspruch. Spätestens nach der rechtskräftigen Verweigerung der erneuten Aufenthaltsbewilligung im Kanton Zürich im November 2007 hatte er keine Aufenthaltsberechtigung mehr in der Schweiz. Durch die erneute Eheschliessung mit einer Schweizer Bürgerin erhielt er einen neuen Bewilligungsanspruch. Da jede einzelne der Ehegemeinschaften weniger als drei Jahre bestanden hat, besteht kein Anspruch nach Art. 50 Abs. 1 lit. a AuG; auch eine gute Integration ändert daran nichts, da die Voraussetzungen der Dreijahresdauer und der Integration kumulativ erfüllt sein müssen (vorne E. 3.5.3).
4.
Der Beschwerdeführer beruft sich sodann auf einen Bewilligungsanspruch nach Art. 50 Abs. 1 lit. b AuG (vgl. vorne E. 2).
4.1. Wichtige persönliche Gründe nach Art. 50 Abs. 1 lit. b AuG (in der hier massgebenden ursprünglichen Fassung) können gemäss Abs. 2 namentlich vorliegen, wenn die Ehegattin oder der Ehegatte Opfer ehelicher Gewalt wurde und die soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint. Die Aufzählung dieser Gründe, welche alternativ zur Anwendung kommen, ist nicht abschliessend (BGE 136 II 1 E. 5.1-5.3). Bei der Beurteilung der wichtigen persönlichen Gründe sind - wie erwähnt (vorne E. 3.4.3) - sämtliche Aspekte des Einzelfalles mitzuberücksichtigen (vgl. auch Art. 31 VZAE); dazu gehören auch die Umstände, die zur Auflösung der Gemeinschaft geführt haben. Bedeutsam kann ferner sein, wie lange der Ausländer in der Schweiz gelebt hat, u. U. auch ausserhalb der Ehe, um welche es geht. Hat der Aufenthalt nur kürzere Zeit gedauert und wurden keine engen Beziehungen zur Schweiz geknüpft, lässt sich ein Anspruch auf weiteren Verbleib nicht begründen, wenn die erneute Integration im Herkunftsland keine besonderen Probleme stellt. Entscheidend ist, ob die persönliche, berufliche und familiäre Wiedereingliederung als stark gefährdet zu gelten hat und nicht, ob ein Leben in der Schweiz einfacher wäre. Ein persönlicher, nachehelicher Härtefall setzt aufgrund der konkreten Umstände eine erhebliche Intensität der Konsequenzen für das Privat- und Familienleben der ausländischen Person voraus, die mit ihrer Lebenssituation nach dem Dahinfallen der gestützt auf Art. 42 Abs. 1 bzw. Art. 43 Abs. 1 AuG abgeleiteten Anwesenheitsberechtigung verbunden sind (BGE 138 II 229 E. 3.1 S. 231 f.; 137 II 345 E. 3.2.3 S. 350).
4.2. Die Vorinstanz hat erwogen, der Beschwerdeführer bringe vor, es sei ihm nicht mehr zumutbar gewesen, die Ehen fortzuführen: Die erste Ehefrau habe ihn der Scheinehe und der Vergewaltigung bezichtigt und die zweite Ehefrau habe ein Kind von einem anderen Mann erwartet. Das Verwaltungsgericht anerkannte durchaus, dass diese Umstände für den Beschwerdeführer psychisch belastend gewesen sein mögen. Es kam aber zum Schluss, die Voraussetzungen für einen nachehelichen Härtefall seien nicht gegeben. Auch die neunjährige Aufenthaltsdauer in der Schweiz, verbunden mit einer normalen Integration, reichten für einen Härtefall nicht aus.
4.3. Der Beschwerdeführer bringt nicht vor, Opfer körperlicher Gewalt seitens seiner Ehefrauen geworden zu sein, macht aber psychische Belastungen geltend. Seine erste Frau sei eifersüchtig gewesen, habe ihn kontrolliert, ihm mit Anzeigen wegen Scheinehe gedroht und ihn bei den Behörden wegen Scheinehe und Vergewaltigung angeschuldigt. Seine zweite Ehefrau habe ein Kind von einem anderen Mann bekommen, so dass ihm ein Zusammenleben mit ihr nicht mehr zumutbar gewesen wäre.
4.4. Nach der Rechtsprechung ist im Rahmen von Art. 50 Abs. 1 lit. b in Verbindung mit Art. 50 Abs. 2 AuG auch eheliche bzw. häusliche Gewalt psychischer Natur ernst zu nehmen (Urteil 2C_155/2011 vom 7. Juli 2011 E. 4.3; vgl. etwa auch den Bericht des Bundesrates vom 13. Mai 2009 über Gewalt in Paarbeziehungen, BBl 2009 4087 ff., 4111 f.). Psychische bzw. sozio-ökonomische Druckausübung wie dauerndes Beschimpfen, Erniedrigen, Drohen und Einsperren kann einen für die Annahme eines nachehelichen Härtefalls relevanten Grad an unzulässiger Oppression erreichen. Dies ist der Fall, wenn die psychische Integrität des Opfers bei einer Aufrechterhaltung der ehelichen Gemeinschaft schwer beeinträchtigt würde. Nicht jede unglückliche, belastende und nicht den eigenen Vorstellungen entsprechende Entwicklung einer Beziehung begründet indessen bereits einen nachehelichen Härtefall und ein weiteres Anwesenheitsrecht in der Schweiz. Die anhaltende, erniedrigende Behandlung muss derart schwer wiegen, dass von der betroffenen Person bei Berücksichtigung sämtlicher Umstände vernünftigerweise nicht erwartet werden kann, dass sie einzig aus bewilligungsrechtlichen Gründen die Ehe aufrechterhält und in einer ihre Menschenwürde und Persönlichkeit verneinenden Beziehung verharrt (BGE 138 II 229 E. 3.2.2 S. 233 f.). Die ausländische Person trifft bei den Feststellungen des entsprechenden Sachverhalts eine weitreichende Mitwirkungspflicht. Sie muss die eheliche Gewalt bzw. häusliche Oppression in geeigneter Weise glaubhaft machen. Allgemein gehaltene Behauptungen oder Hinweise auf punktuelle Spannungen genügen nicht; wird häusliche Gewalt in Form psychischer Oppression behauptet, muss vielmehr die Systematik der Misshandlung bzw. deren zeitliches Andauern und die daraus entstehende subjektive Belastung objektiv nachvollziehbar konkretisiert und beweismässig unterlegt werden (BGE 138 II 229 E. 3.2.3 S. 235).
4.5. Die Vorinstanz hat keine derartigen psychischen Belastungen festgestellt und der Beschwerdeführer rügt auch nicht, sie habe den Sachverhalt offensichtlich unrichtig oder rechtsverletzend festgestellt. Er macht insbesondere nicht geltend, er habe vor der Vorinstanz einschlägige Sachverhalte glaubhaft gemacht und entsprechende Beweisanträge gestellt. Für die behaupteten psychischen Beeinträchtigungen fehlen damit die sachverhaltlichen Grundlagen. Zudem sind Eifersucht seitens des Ehegatten oder das Drohen mit Anzeigen keine psychische Oppression im dargelegten Sinne, ebenso wenig der Umstand, dass die Ehefrau ein Kind von einem anderen Mann erwartet. Solche Gründe können zwar durchaus zum Zerbrechen einer Beziehung führen; ein nachehelicher Härtefall liegt aber nicht immer schon vor, wenn die Ehe aus nachvollziehbaren Gründen gescheitert ist.
4.6. Dass die Wiedereingliederung in der Heimat stark gefährdet wäre, bringt der Beschwerdeführer selber nicht vor. Eine mehrjährige Aufenthaltsdauer und eine normale oder gute Integration genügt zwar für einen Anspruch nach Art. 50 Abs. 1 lit. a AuG, stellt aber für sich allein keinen wichtigen persönlichen Grund im Sinne von lit. b dar.
4.7. Auch ein Anspruch gemäss Art. 50 Abs. 1 lit. b AuG ist demnach zu verneinen.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist damit als unbegründet abzuweisen.
5.
5.1. Mit der subsidiären Verfassungsbeschwerde rügt der Beschwerdeführer, die Vorinstanz habe keine materielle Prüfung von Art. 30 Abs. 1 lit. b AuG vorgenommen, sondern lediglich auf ihre Ausführungen zur materiellen Begründung von Art. 50 verwiesen. Dies stelle eine Rechtsverweigerung dar und verletze das verfassungsrechtliche Begründungsgebot.
5.2. Art. 30 Abs. 1 lit. b AuG entspricht Art. 13 lit. f der früheren Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (BVO; AS 1986 1791), weshalb die dazu ergangene Praxis übernommen werden kann (BGE 137 II 345 E. 3.2.1 S. 348 f.; Good/ Bosshard, Handkommentar AuG, N 7 f. zu Art. 30; vgl. auch Spescha/ Thür/Zünd/Bolzli, a.a.O., N 5 zu Art. 30). Auch Art. 50 Abs. 1 lit. b AuG ist - nunmehr als Anspruchstatbestand - für Situationen gedacht, in denen eine Härtefallsituation vorliegt, welche früher im Rahmen von Art. 13 lit. f BVO hätte berücksichtigt werden können (vgl. vorne E. 2, am Ende). Art. 31 VZAE nennt denn auch eine Liste von Kriterien, die bei der Prüfung schwerwiegender persönlicher Härtefälle zu berücksichtigen ist, und bezieht sich dafür im Marginale sowohl auf Art. 30 Abs. 1 lit. b als auch auf Art. 50 Abs. 1 lit. b AuG. Die Kriterien für diese beiden Fälle sind zwar nicht vollständig, aber teilweise deckungsgleich (BGE 137 II 345 E. 3.2.1 S. 348 f.; Urteile 2C_803/2010 vom 14. Juni 2011 E. 3; 2C_216/2009 vom 20. August 2009 E. 2.2).
5.3. Die Vorinstanz hat in E. 5.4 des angefochtenen Urteils ausgeführt, nachdem die Voraussetzungen von Art. 50 Abs. 1 lit. b AuG nicht erfüllt seien, sei dem Beschwerdeführer auch keine Härtefallbewilligung gestützt auf Art. 30 Abs. 1 lit. b AuG zu erteilen gewesen. Sodann prüfte sie in E. 6, ob dem Beschwerdeführer eine Ermessensbewilligung zu erteilen sei; sie erwog zunächst, das Verwaltungsgericht übe lediglich eine Rechtskontrolle aus; sodann verwies sie auf die von der Sicherheitsdirektion vorgenommene Interessenabwägung, würdigte die Dauer des Aufenthalts des Beschwerdeführers in der Schweiz und seine berufliche, sprachliche und gesellschaftliche Integration sowie seine strafrechtliche Unbescholtenheit (abgesehen von einem Strafbefehl wegen Verstosses gegen die ausländerrechtlichen Vorschriften), ebenso seine aktuelle Lebenssituation und die Beziehungen zur Heimat. Sie kam zum Ergebnis, es sei nicht rechtsverletzend, die Aufenthaltsbewilligung nicht zu verlängern.
5.4. Soweit die Kriterien nach Art. 50 Abs. 1 lit. b mit denjenigen von Art. 30 Abs. 1 lit. b AuG deckungsgleich sind (vorne E. 5.2) hat die Vorinstanz zulässigerweise für diese auf jene verwiesen (vgl. Urteil 2C_803/2010 vom 14. Juni 2011 E. 3). Im Übrigen ist festzuhalten, dass die "Härtefallbewilligung" nach Art. 30 Abs. 1 lit. b AuG nur im Rahmen einer Ermessensbewilligung zum Tragen kommt: Diese Bestimmung legt fest, dass unter den darin festgelegten Bedingungen von den Zulassungsvoraussetzungen gemäss Art. 18-29 AuG abgewichen werden kann; aber auch wenn diese Bedingungen für eine Abweichung erfüllt sind, besteht kein Anspruch auf eine Bewilligung (Urteile 2C_75/2011 vom 6. April 2011 E. 1.1.1; 2C_400/2011 vom 2. Dezember 2011 E. 1.2.2). Die Vorinstanz hat geprüft, ob die Verwaltung ihr Ermessen rechtsverletzend gehandhabt hat, und sie hat dies mit rechtsgenüglicher Begründung verneint. Damit war die Beschwerde unbegründet, unabhängig davon, ob die Bedingungen nach Art. 30 Abs. 1 lit. b AuG erfüllt gewesen wären. Eine Gehörsverletzung oder Rechtsverweigerung liegt nicht vor.
6.
Auch die Verfassungsbeschwerde erweist sich damit als unbegründet. Der unterliegende Beschwerdeführer trägt die Kosten des Verfahrens (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2.
Die subsidiäre Verfassungsbeschwerde wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Zürich, der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 25. März 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein