Sachverhalt: A. A.a. Der aus dem Kosovo stammende A._ (geb. 1977) reiste am 15. Juli 2009 in die Schweiz ein und erhielt am 14. August 2009 im Kanton Zürich eine Aufenthaltsbewilligung zum Verbleib bei seiner in der Schweiz niedergelassenen Ehefrau, die er am 13. März 2008 im Kosovo geheiratet hatte. Die Bewilligung wurde letztmals am 7. Juni 2012 verlängert mit Gültigkeit bis zum 14. Juli 2013. Im Sommer 2012 wurde die Ehegemeinschaft mit dem Auszug von A._ aus dem gemeinsamen Haushalt aufgegeben (Ergänzung des Sachverhalts, vgl. Art. 105 Abs. 2 BGG und Entscheid der Sicherheitsdirektion des Kantons Zürich vom 20. März 2015). A.b. Am 26. Februar 2013 meldete sich A._ bei der Einwohnerkontrolle Horgen nach Basel ab und reichte gleichentags beim Migrationsamt des Kantons Basel-Stadt ein Gesuch um Kantonswechsel ein. Dieses machte ihn mit Schreiben vom 19. Juli 2013 auf das Erlöschen der Aufenthaltsbewilligung im Kanton Zürich aufmerksam und verwies ihn zur weiteren Regelung seines Aufenthalts an das zuständige Migrationsamt des Kantons Zürich. Es wies sodann das Gesuch mit Verfügung vom 30. Juni 2014 ab, verbunden mit der Aufforderung, das Kantonsgebiet sei bis 31. Juli 2014 zu verlassen. Auf einen dagegen erhobenen Rekurs trat das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt nicht ein. B. Nachdem das Migrationsamt des Kantons Zürich A._ mit Schreiben vom 4. März 2014 und 18. März 2014 darauf hingewiesen hatte, dass er über keine gültige Aufenthaltsbewilligung verfügte, reichte dieser am 30. April 2014 ein Gesuch um Verlängerung seiner Bewilligung ein. Am 8. Juli 2014 bzw. 1. September 2014 verweigerte das Migrationsamt des Kantons Zürich die (Wieder-) Erteilung der Aufenthaltsbewilligung und setzte A._ Frist bis 31. Juli 2014, um die Schweiz zu verlassen. Einen dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 20. März 2015 ab. Das Verwaltungsgericht des Kantons Zürich wies eine dagegen erhobene Beschwerde mit Urteil vom 1. September 2015 ebenfalls ab. C. A._ erhebt mit Eingabe vom 7. Oktober 2015 an das Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Urteils sei das Migrationsamt des Kantons Zürich anzuweisen, ihm die Aufenthaltsbewilligung wieder zu erteilen bzw. zu verlängern. Eventuell sei die Sache zu neuer Beurteilung an die Vorinstanz oder das Migrationsamt zurückzuweisen. Das Verwaltungsgericht und das Staatssekretariat für Migration beantragen Abweisung der Beschwerde. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 8. Oktober 2015 wurde der Beschwerde die aufschiebende Wirkung zuerkannt.