Sachverhalt: A. Der aus Thailand stammende A._, geboren xx.xx.1974, reiste am 14. Januar 2003 mit einem Besuchervisum in die Schweiz ein, wo er am 7. April 2003 die Schweizer Bürgerin B._ heiratete und am folgenden Tag eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau erhielt. Die Ehe wurde am 4. Juni 2004 geschieden. Am 14. Juni 2005 heiratete A._ die Schweizer Bürgerin C._ und erhielt erneut eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Am 15. Dezember 2007 meldete er sich von der gemeinsamen Wohnung ab und am 18. Juni 2008 wieder an. Am 19. Juni 2008 wurde ihm die Aufenthaltsbewilligung verlängert. Am 14. Juli 2008 meldete er sich erneut von der gemeinsamen Wohnung ab. Die Ehe wurde am 24. November 2009 geschieden. B. Am 6. Dezember 2010 verfügte das Migrationsamt des Kantons Basel-Stadt die Nichtverlängerung der Aufenthaltsbewilligung und wies A._ aus der Schweiz weg. Den dagegen erhobenen Rekurs wies das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt am 8. August 2011 ab. C. Mit Eingaben vom 22. August und 14. November 2011 erhob A._ Rekurs an den Regierungsrat. Er stellte unter Hinweis auf einen am 14. November 2011 erfolgten neuerlichen Eheschluss mit der in der Schweiz niedergelassenen thailändischen Staatsangehörigen D._ das Gesuch um Sistierung des Verfahrens. Diesem Antrag gab das Präsidialdepartement zunächst statt, hob die Sistierung aber am 3. Januar 2013 auf, nachdem das Migrationsamt mitgeteilt hatte, die Ehefrau solle aus der Schweiz weggewiesen werden, und überwies das Verfahren dem Verwaltungsgericht zum Entscheid. Dieses wies den Rekurs mit Urteil vom 5. September 2013 ab. D. A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Urteils sei ihm weiterhin der Aufenthalt im Kanton Basel-Stadt zu bewilligen und von einer Wegweisung abzusehen. Eventuell sei die Angelegenheit zu neuer Entscheidung an das Migrationsamt zurückzuweisen. Mit Verfügung vom 28. Oktober 2013 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Das Verwaltungsgericht und das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt sowie das Bundesamt für Migration beantragen Abweisung der Beschwerde. A._ repliziert.