Sachverhalt:
A.
A.a. Der aus dem Kosovo stammende A._ (geb. 1977) reiste am 15. Juli 2009 in die Schweiz ein und erhielt am 14. August 2009 im Kanton Zürich eine Aufenthaltsbewilligung zum Verbleib bei seiner in der Schweiz niedergelassenen Ehefrau, die er am 13. März 2008 im Kosovo geheiratet hatte. Die Bewilligung wurde letztmals am 7. Juni 2012 verlängert mit Gültigkeit bis zum 14. Juli 2013. Im Sommer 2012 wurde die Ehegemeinschaft mit dem Auszug von A._ aus dem gemeinsamen Haushalt aufgegeben (Ergänzung des Sachverhalts, vgl. <ref-law> und Entscheid der Sicherheitsdirektion des Kantons Zürich vom 20. März 2015).
A.b. Am 26. Februar 2013 meldete sich A._ bei der Einwohnerkontrolle Horgen nach Basel ab und reichte gleichentags beim Migrationsamt des Kantons Basel-Stadt ein Gesuch um Kantonswechsel ein. Dieses machte ihn mit Schreiben vom 19. Juli 2013 auf das Erlöschen der Aufenthaltsbewilligung im Kanton Zürich aufmerksam und verwies ihn zur weiteren Regelung seines Aufenthalts an das zuständige Migrationsamt des Kantons Zürich. Es wies sodann das Gesuch mit Verfügung vom 30. Juni 2014 ab, verbunden mit der Aufforderung, das Kantonsgebiet sei bis 31. Juli 2014 zu verlassen. Auf einen dagegen erhobenen Rekurs trat das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt nicht ein.
B.
Nachdem das Migrationsamt des Kantons Zürich A._ mit Schreiben vom 4. März 2014 und 18. März 2014 darauf hingewiesen hatte, dass er über keine gültige Aufenthaltsbewilligung verfügte, reichte dieser am 30. April 2014 ein Gesuch um Verlängerung seiner Bewilligung ein. Am 8. Juli 2014 bzw. 1. September 2014 verweigerte das Migrationsamt des Kantons Zürich die (Wieder-) Erteilung der Aufenthaltsbewilligung und setzte A._ Frist bis 31. Juli 2014, um die Schweiz zu verlassen. Einen dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 20. März 2015 ab. Das Verwaltungsgericht des Kantons Zürich wies eine dagegen erhobene Beschwerde mit Urteil vom 1. September 2015 ebenfalls ab.
C.
A._ erhebt mit Eingabe vom 7. Oktober 2015 an das Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Urteils sei das Migrationsamt des Kantons Zürich anzuweisen, ihm die Aufenthaltsbewilligung wieder zu erteilen bzw. zu verlängern. Eventuell sei die Sache zu neuer Beurteilung an die Vorinstanz oder das Migrationsamt zurückzuweisen.
Das Verwaltungsgericht und das Staatssekretariat für Migration beantragen Abweisung der Beschwerde.
Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 8. Oktober 2015 wurde der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
Der Beschwerdeführer macht in vertretbarer Weise einen Anspruch auf Bewilligung aufgrund von Art. 50 AuG geltend, so dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 82 lit. a., Art. 83 lit. c Ziff. 2, Art. 86 Abs. 1 lit. d, Art. 89 Abs. 1 und Art. 90 BGG; <ref-ruling> E. 1.1 S. 332).
2.
Der Beschwerdeführer trägt vor, er erfülle die Voraussetzungen für einen Bewilligungsanspruch nach Art. 50 Abs. 1 lit. a AuG, da er von Juli 2009 bis Oktober 2012 mit seiner hier niedergelassenen Frau zusammengelebt habe und integriert sei.
2.1. Die Vorinstanz hat offen gelassen, ob diese materiellen Voraussetzungen (vgl. dazu <ref-ruling> E. 3.5 S. 295) erfüllt seien, da ein einmal untergegangener Anspruch nicht wieder auflebe. Die frühere Aufenthaltsbewilligung sei mit ihrem Ablauf per 14. Juli 2013 erloschen. Ein Gesuch um Verlängerung müsse 14 Tage vor Ablauf gestellt werden. Bei fahrlässig verspäteter Gesuchseinreichung sei zwar praxisgemäss die Bewilligung wieder zu erteilen, wenn der weitere Verbleib bei rechtzeitiger Gesuchstellung zu bewilligen gewesen wäre. Diese Praxis dürfe aber nicht dazu führen, dass auch Jahre nach Ablauf einer Bewilligung noch ein Verlängerungsgesuch gestellt werden könne. Vorliegend habe dem Beschwerdeführer spätestens mit dem Schreiben des Migrationsamts des Kantons Basel-Stadt vom 19. Juli 2013 bekannt sein müssen, dass seine Aufenthaltsbewilligung erloschen sei. Trotzdem habe er zehn Monate zugewartet bis er ein Verlängerungsgesuch gestellt habe. Damit sei ein allfälliger Verlängerungsanspruch untergegangen.
2.2. Der Beschwerdeführer beruft sich auf <ref-law>: Er habe bereits vor Ablauf seiner Aufenthaltsbewilligung ein Gesuch im Kanton Basel-Stadt gestellt. Erst am 30. Juni 2014 sei dieses Gesuch abgelehnt worden. Schon vorher, nämlich am 14. April 2014, habe er auch im Kanton Zürich ein Gesuch gestellt. In Anbetracht dieser Umstände sei dieses Gesuch als rechtzeitig zu betrachten.
3.
3.1. Die Vorinstanz hat zutreffend erwogen, dass die Aufenthaltsbewilligung mit Ablauf ihrer Gültigkeit von Gesetzes wegen erlischt (Art. 61 Abs. 1 lit. c AuG) und dass ein Gesuch um Verlängerung spätestens 14 Tage vor Ablauf der Gültigkeitsdauer gestellt werden muss (<ref-law>). Sie hat ebenfalls darauf hingewiesen, dass aus Gründen der Verhältnismässigkeit und zur Vermeidung von überspitztem Formalismus bei fahrlässig verspäteter Gesuchseinreichung die Wiedererteilung der Bewilligung geboten sein kann, wenn bei rechtzeitiger Gesuchstellung die Verlängerung bewilligt worden wäre (Urteil 2C_1050/2012 vom 6. Dezember 2013 E. 2.3/2.4); sie hat schliesslich ebenso zutreffend erwogen, dass dieser Grundsatz nicht dazu führen kann, dass ein Ausländer, der einmal über eine Aufenthaltsbewilligung verfügt hat, noch unbeschränkte Zeit nach deren Ablauf wieder ein Verlängerungsgesuch stellen kann, und zwar auch dann nicht, wenn ursprünglich auf deren Erteilung ein Anspruch gemäss Art. 50 AuG bestanden hätte, da dieser an die bisher bestehende Berechtigung anknüpft und keinen Anspruch auf Wiedererteilung einer erloschenen Bewilligung verschafft (<ref-ruling> E. 3.2.3 S. 349 f.; Urteil 2C_483/2014 vom 26. Mai 2014 E. 2.4). Schliesslich ist unbestritten, dass der Beschwerdeführer im Kanton Zürich, in welchem er seine ursprüngliche Bewilligung besass, erst fast zehn Monate nach deren Ablauf ein Verlängerungsgesuch gestellt hat. Der Vorinstanz ist zuzustimmen, dass damit das Verlängerungsgesuch grundsätzlich verspätet ist.
3.2. Indessen hat die Vorinstanz den Umständen des vorliegenden Falls nicht vollständig Rechnung getragen: Der Beschwerdeführer hatte am 26. Februar 2013, mithin bereits vor Ablauf seiner Bewilligung, im Kanton Basel-Stadt ein Gesuch um Kantonswechsel gestellt. Aus dem angefochtenen Entscheid geht nicht hervor, ob im Rahmen dieses Gesuchs bereits eine Verlängerung der Bewilligung über den Ablauf der im Kanton Zürich erteilten Bewilligung hinaus beantragt wurde, doch kann dies nicht ausgeschlossen werden, zumal die aktenkundige Verfügung des Kantons Basel-Stadt vom 30. Juni 2014 (<ref-law>) auch auf Art. 43 und 50 AuG hinweist. Damit war der Beschwerdeführer vorderhand zum weiteren Aufenthalt in der Schweiz berechtigt (<ref-law>). Wohl hat der Kanton Basel-Stadt mit Schreiben vom 19. Juli 2013 dem Beschwerdeführer mitgeteilt, eine allfällige Prüfung einer Aufenthaltsbewilligung nach Art. 50 Abs. 1 lit. a AuG falle in den Zuständigkeitsbereich des bisherigen Wohnkantons. Dabei handelte es sich jedoch nicht um eine rechtsverbindliche Anordnung, sondern erst um eine Mitteilung im Rahmen der Gewährung des rechtlichen Gehörs, wobei auch darauf hingewiesen wurde, dass bei einem Rückzug des Gesuchs das Verfahren ohne Kostenfolgen abgeschrieben würde. Offenbar hat der Beschwerdeführer sein Gesuch nicht zurückgezogen, weshalb am 30. Juni 2014 - erst fast ein Jahr später - die Verfügung der Basler Behörden erging, in welcher das Gesuch um Kantonswechsel abgewiesen und wiederum festgehalten wurde, die Prüfung einer Aufenthaltsbewilligung nach Art. 50 AuG falle in den Zuständigkeitsbereich des bisherigen Wohnkantons. Unter diesen Umständen ist nachvollziehbar, dass der Beschwerdeführer während der Hängigkeit seines Gesuchs im Kanton Basel-Stadt vorerst nicht auch ein Verlängerungsgesuch im Kanton Zürich stellte. Denn falls der Kanton Basel-Stadt eine Bewilligung erteilt hätte, wäre ein Gesuch in Zürich sinnlos gewesen, da ein Ausländer nur in einem Kanton eine Aufenthaltsbewilligung besitzen kann (<ref-law>). Sodann kann dem Beschwerdeführer die (über) lange Dauer das baslerischen Gesuchsverfahrens nicht vorgeworfen werden. Damit erweist es sich als überspitzt formalistisch bzw. treuwidrig (<ref-law>), das Verlängerungsgesuch wegen verspäteter Einreichung abzuweisen. Der angefochtene Entscheid ist deshalb aufzuheben.
4.
Dem Hauptantrag auf Erteilung bzw. Verlängerung der Bewilligung kann jedoch nicht stattgegeben werden: Die Sicherheitsdirektion hat einen Anspruch nach Art. 50 Abs. 1 lit. a AuG verneint, da die Ehegemeinschaft weniger als drei Jahre gedauert habe. Der Beschwerdeführer hat in seiner Beschwerde an das Verwaltungsgericht geltend gemacht, die Voraussetzungen nach Art. 50 Abs. 1 lit. a AuG seien erfüllt. Das Verwaltungsgericht hat dies offen gelassen, da das Gesuch verspätet gestellt worden sei. Die Sache ist daher an das Verwaltungsgericht zurückzuweisen zur Prüfung, ob die Voraussetzungen nach Art. 50 Abs. 1 lit. a AuG erfüllt sind.
5.
Die Beschwerde erweist sich im Eventualantrag als begründet. Die Rückweisung zur ergebnisoffenen Prüfung gilt praxisgemäss als Obsiegen. Der unterliegende Kanton Zürich trägt keine Verfahrenskosten (<ref-law>), hat aber dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Das Urteil des Verwaltungsgerichts des Kantons Zürich vom 1. September 2015 wird aufgehoben und die Sache zur neuen Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2.
Es werden keine Kosten erhoben.
3.
Der Kanton Zürich hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- zu bezahlen.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 22. Januar 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein