Sachverhalt:
A.
Der kosovarische Staatsangehörige A._ (geb. 1974) reiste am 8. September 1998 in die Schweiz ein und stellte ein Asylgesuch. Dieses wurde am 8. Juni 2000 rechtskräftig abgewiesen, worauf er die Schweiz verliess. Im Herbst 2003 hielt er sich kurzzeitig zu Weiterbildungszwecken in der Schweiz auf.
B.
Am 13. Oktober 2010 heiratete A._ in seiner Heimat eine im Kanton Zürich niedergelassene Landsfrau und reiste am 30. April 2011 erneut in die Schweiz ein. Am 6. Juni 2011 erhielt er im Rahmen des Familiennachzugs eine Aufenthaltsbewilligung, die letztmals mit Gültigkeit bis 29. April 2015 verlängert wurde.
C.
Mit E-Mail vom 8. April 2014 und Mutationsmeldung vom 2. Mai 2014 informierte die Einwohnerkontrolle der Wohnsitzgemeinde das Migrationsamt des Kantons Zürich darüber, dass A._ sich per 31. Dezember 2013 von seiner Ehefrau getrennt habe. Mit Schreiben vom 4. Mai 2014 teilte die Ehefrau dem Migrationsamt auf Nachfrage mit, die eheliche Gemeinschaft sei Ende Dezember 2013 aufgehoben worden und ihr Ehewille sei erloschen. Die Auflösung der ehelichen Wohngemeinschaft wurde zudem mit Schreiben vom 8. Mai 2014 des damaligen Rechtsvertreters von A._ bestätigt, jedoch mit einer schweren psychischen Erkrankung der Ehefrau erklärt, die eine vorübergehende Trennung erforderlich gemacht habe. Nachdem A._ nach seinem Auszug aus der ehelichen Wohnung zunächst bei seinem Bruder eingezogen war, mietete er sich ab 23. April 2014 eine eigene Wohnung.
D.
Nach weiteren Abklärungen widerrief das Migrationsamt am 26. Juni 2014 die Aufenthaltsbewilligung von A._ und setzte eine Ausreisefrist bis zum 26. August 2014 an. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich mit Entscheid vom 11. November 2015 unter Ansetzung einer neuen Ausreisefrist bis zum 31. Januar 2016 ab, soweit es den Rekurs nicht als gegenstandslos erachtete. Das Verwaltungsgericht des Kantons Zürich wies die dagegen eingereichte Beschwerde mit Urteil vom 27. Januar 2016 ab.
E.
A._ erhebt am 4. März 2016 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des angefochtenen Urteils und die Verlängerung seiner Aufenthaltsbewilligung. Eventualiter sei die Angelegenheit an das Verwaltungsgericht zurückzuweisen mit der Anordnung zu prüfen, ob er in der Schweiz erfolgreich integriert sei.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Staatssekretariat für Migration beantragt ebenfalls die Abweisung der Beschwerde. Die Sicherheitsdirektion hat auf eine Vernehmlassung verzichtet, das Migrationsamt hat sich nicht vernehmen lassen.

Erwägungen:
1.
Der angefochtene Entscheid wurde von einer letzten kantonalen Gerichtsinstanz in einer Angelegenheit des öffentlichen Rechts erlassen und schliesst das kantonale Verfahren ab, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen steht (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Sie ist jedoch ausgeschlossen gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt (<ref-law>). Um den Weg der Beschwerde in öffentlich-rechtlichen Angelegenheiten zu eröffnen, muss ein solcher Anspruch in vertretbarer Weise geltend gemacht werden. Ob die geltend gemachten Ansprüche tatsächlich bestehen, ist alsdann Sache der materiellen Beurteilung (vgl. <ref-ruling> E. 1.1 S. 179). Der Beschwerdeführer macht in vertretbarer Weise geltend, gestützt auf die frühere Ehegemeinschaft mit einer in der Schweiz niedergelassenen Person (Art. 43 Abs. 1 und Art. 50 i.V.m. Art. 49 AuG [SR 142.20]) über einen potentiellen Bewilligungsanspruch zu verfügen, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist. Auf die form- und fristgerecht eingereichte Beschwerde (vgl. Art. 42 und 100 Abs. 1 BGG) des nach <ref-law> legitimierten Beschwerdeführers ist einzutreten.
2.
2.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>); es ist weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 3 S. 415). Doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Vorbringen, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 f.). Die Verletzung von Grundrechten untersucht es in jedem Fall nur insoweit, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2.2 S. 246).
2.2. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 116 f.). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-ruling> E. 5.1 S. 356; <ref-ruling> E. 2.5 S. 314).
3.
3.1. Ausländische Ehegatten von Personen mit Niederlassungsbewilligung haben Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Art. 43 Abs. 1 AuG). Der Anspruch besteht trotz Auflösens oder definitiven Scheiterns der Ehegemeinschaft fort, wenn diese mindestens drei Jahre gedauert und die betroffene ausländische Person sich hier erfolgreich integriert hat (Art. 50 Abs. 1 lit. a AuG; <ref-ruling> E. 3.3.3 S. 119) oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG; <ref-ruling> E. 3.1 S. 394 f.; <ref-ruling> E. 3.1 S. 231 f.).
Eine ausländerrechtlich relevante Ehegemeinschaft besteht solange, als die eheliche Beziehung tatsächlich gelebt wird und ein gegenseitiger Ehewille vorhanden ist. Dabei ist hauptsächlich auf die nach aussen wahrnehmbare eheliche Wohngemeinschaft abzustellen (BGE <ref-ruling> E. 2 S. 231; <ref-ruling> E. 3.1.2 S. 347). Vom Erfordernis des Zusammenwohnens im Sinne von Art. 43 Abs. 1 AuG wird nach Art. 49 AuG ausnahmsweise abgesehen, wenn für getrennte Wohnorte wichtige Gründe vorliegen und die Ehegemeinschaft dennoch weiter besteht (Urteile 2C_638/2014 vom 10. November 2014 E. 2.1; 2C_48/2014 vom 9. Oktober 2014 E. 2.2). Ausnahmen sind namentlich "aus wichtigen und nachvollziehbaren beruflichen oder familiären Gründen" möglich (Botschaft vom 8. März 2002 zum AuG, BBl 2002 3709, 3795 zu Art. 48 E-AuG; vgl. auch Art. 76 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]). Die Gründe müssen objektivierbar sein und ein gewisses Gewicht aufweisen, was grundsätzlich von der ausländischen Person darzutun ist (vgl. Art. 90 AuG; Urteile 2C_48/2014 vom 9. Oktober 2014 E. 2.2; 2C_428/2013 vom 8. September 2013 E. 4.2). Dabei erscheint es nicht von vornherein ausgeschlossen, dass solche wichtigen Gründe gesundheitlicher Natur sein können (Urteil 2C_140/2011 vom 15. Juni 2011 E. 3.2). Ein freiwilliger Entscheid für ein "living apart together" für sich allein genommen stellt dagegen praxisgemäss keinen wichtigen Grund im Sinne von Art. 49 AuG dar (Urteile 2C_48/2014 vom 9. Oktober 2014 E. 2.2; 2C_40/2012 vom 15. Oktober 2012 E. 4 mit Hinweisen).
3.2. Der Beschwerdeführer macht geltend, die Ehegemeinschaft habe mehr als drei Jahre bestanden und es liege eine erfolgreiche Integration vor. Zwar habe er lediglich zwei Jahre und acht Monate mit seiner Ehefrau zusammengelebt, es bestehe aber in deren schweren psychischen Erkrankung (paranoide Schizophrenie) ein wichtiger Grund für das Getrenntleben. Der Ehewille beider Parteien habe über drei volle Jahre fortbestanden.
Die Vorinstanz ist dagegen davon ausgegangen, die Ehe habe weniger als drei Jahre gedauert. Aufgrund der langen Trennungsdauer von über zwei Jahren sei unabhängig von den Trennungsgründen nicht mehr von einer vorübergehenden Trennung auszugehen, sondern die Ehe spätestens mit dem Auszug des Beschwerdeführers aus der ehelichen Wohnung als aufgehoben zu betrachten.
3.3.
3.3.1. Als Grund für seinen Auszug aus der ehelichen Wohnung im Dezember 2013 gab der Beschwerdeführer die bei seiner Ehefrau diagnostizierte paranoide Schizophrenie an, die zur Folge hatte, dass diese sich ihm gegenüber aggressiv verhielt und ein Zusammenleben offenbar unzumutbar wurde. Die Vorinstanz sah darin zu Recht einen grundsätzlich wichtigen Grund für ein Getrenntleben im Sinne von Art. 49 AuG. Gleichzeitig erachtete sie die Ehe aufgrund der langen Trennungsdauer als spätestens mit dem Auszug Ende Dezember 2013 aufgehoben, dies umso mehr, als eine Wiederaufnahme der Ehebeziehung unterblieben sei. Fraglich und umstritten ist somit, ob die Ehe bereits Ende Dezember 2013 als gescheitert anzusehen ist.
3.3.2. Bei einem Getrenntleben der Ehegatten ist nicht leichthin von einer fortbestehenden Ehegemeinschaft auszugehen. Es kann aber nicht ausgeschlossen werden, dass eine Ehe zum Zeitpunkt der Trennung noch nicht gescheitert war, auch wenn die Ehegatten später nicht mehr wieder zusammenkommen und die Ehe schliesslich aufgelöst wird (vgl. SPESCHA/KERLAND/BOLZLI, Handbuch zum Migrationsrecht, 2. Aufl. 2015, S. 230). Die räumliche Trennung von der Ehefrau begründet der Beschwerdeführer mit deren Krankheit. Die Beziehung der Ehegatten war, wie er selber anführt, angespannt. Das Bundesgericht verkennt nicht, dass eine psychische Erkrankung eine Beziehung stark belasten kann, weshalb sich im Einzelfall eine vorübergehende Trennung aufdrängen kann, ohne dass dies bereits ein Scheitern der Ehe bedeuten muss. Entsprechende Nachweise für ein Fortbestehen der Ehe sind allerdings durch die Ehegatten beizubringen, da es dabei um Umstände aus ihrem Lebensbereich geht, die sie besser kennen als die Behörden. Insofern trifft die Ehegatten bei der Abklärung des Sachverhalts im Rahmen von Art. 49 AuG eine besondere Mitwirkungspflicht (vgl. Art. 90 AuG; <ref-ruling> E. 3.2 S. 485 f.; Urteil 2C_395/2016 vom 27. September 2016 E. 4.1; THOMAS HUGI YAR, Von Trennungen, Härtefällen und Delikten - Ausländerrechtliches rund um die Ehe- und Familiengemeinschaft, in: Jahrbuch für Migrationsrecht 2012/2013, S. 51).
3.3.3. Im vorliegenden Fall bestehen deutliche Anhaltspunkte dafür, dass die Trennung im Dezember 2013 nicht nur vorübergehender Art war: Wie der Beschwerdeführer geltend macht, befand sich die eheliche Beziehung damals in einer Krise. Diese gipfelte darin, dass er am 23. Juli 2014 - zwei Tage vor seiner Ehefrau - ein Scheidungsbegehren unterzeichnete. Dieses wurde mitsamt einer vollständigen Einigung über die Scheidungsfolgen von der Ehefrau dem Migrationsamt übermittelt. Wenn nun der Beschwerdeführer mit Verweis auf das Schreiben vom 15. August 2014 des behandelnden Psychiaters seiner Ehefrau geltend macht, diese habe das Scheidungsbegehren aufgrund einer Kurzschlusshandlung eingereicht und es anschliessend wieder zurückgezogen, erklärt dies nicht, weshalb der Beschwerdeführer das Begehren (zeitlich vor seiner Ehefrau) unterschrieben hat. Zudem hat er das Scheidungsbegehren nur zwei Tage bevor er gegen die Verfügung des Migrationsamts Rekurs erhob - und seinen angeblich nach wie vor bestehenden Ehewillen kund tat - unterschrieben. Im Übrigen hatte die Ehefrau bereits im Mai 2014 gegenüber den Migrationsbehörden bestätigt, dass die eheliche Gemeinschaft im Dezember 2013 aufgehoben worden und ihr Ehewille erloschen sei. Entsprechend ist es nachvollziehbar, dass schon die Sicherheitsdirektion in ihrem Entscheid den Scheidungswillen nicht als Kurzschlusshandlung durchgehen liess, sondern zum Schluss kam, dass auch der Beschwerdeführer zu einem deutlich früheren Zeitpunkt ernsthafte Scheidungsabsichten gehegt habe (vgl. Entscheid der Sicherheitsdirektion vom 11. November 2015 E. 7.a) bb); <ref-law>).
Selbst wenn davon ausgegangen würde, dass dem nicht so gewesen sein sollte, vermag der Beschwerdeführer nicht darzutun, inwiefern seine Ehefrau und er an der Ehe haben festhalten wollen. Das Zusammenleben mit einer psychisch kranken Person kann gewiss, auch wenn mittels Medikation ein "hinreichend stabiler Gesundheitszustand" erreicht wird (vgl. Schreiben des behandelnden Psychiaters vom 15. August 2014), schwierige Situationen mit sich bringen. Aufgrund seiner Mitwirkungspflicht wäre es aber am Beschwerdeführer gelegen, darzulegen, inwiefern seine Ehefrau und er sich bemühten, ihre Ehe weiterzuführen, und entsprechende Belege beizubringen. Zu denken ist beispielsweise an die Bestätigung des Besuchs einer Paartherapie. Gemäss dem erwähnten Schreiben des Psychiaters hatten offenbar bis vor der Trennung im Dezember 2013 regelmässig Paargespräche stattgefunden. Wenn die Ehegatten ernsthaft an der ehelichen Beziehung haben festhalten wollen, wäre es naheliegend gewesen, eine Therapie fortzusetzen resp. wieder aufzunehmen. Nachdem der Beschwerdeführer weder einen solchen Nachweis vorgelegt noch anderweitige Bemühungen zur Wiederaufnahme der ehelichen Wohngemeinschaft glaubhaft gemacht hat, durften die Vorinstanzen das Vorliegen wichtiger Gründe für getrennte Wohnorte im Sinne von Art. 49 AuG zu Recht verneinen.
3.3.4. Der Beschwerdeführer vermag demnach bereits für den Zeitpunkt der Trennung Ende Dezember 2013 keinen wichtigen Grund für getrennte Wohnorte anzuführen. Die dreijährige Frist ist somit nicht erreicht und der Beschwerdeführer kann sich - wie die Vorinstanz richtig erkannt hat - nicht auf einen Anspruch gestützt auf Art. 50 Abs. 1 lit. a AuG berufen.
3.4. Die Vorinstanz hatte daher in der Folge nicht zu prüfen, ob sich der Beschwerdeführer in der Schweiz erfolgreich integriert hat (vgl. Art. 50 Abs. 1 lit. a AuG, E. 3.1). Inwiefern wichtige persönliche Gründe im Sinne von Art. 50 Abs. 1 lit. b i.V.m Abs. 2 AuG bestehen, legt der Beschwerdeführer vor Bundesgericht nicht dar. Solche sind denn auch nicht ersichtlich. Das Urteil des Verwaltungsgerichts ist somit im Ergebnis nicht zu beanstanden; dem Beschwerdeführer steht kein Anspruch auf Aufenthaltsbewilligung zu.
4.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen. Dem Verfahrensausgang entsprechend wird der unterliegende Beschwerdeführer kostenpflichtig (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 23. Februar 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Fuchs