Sachverhalt:
A.
Der kosovarische Staatsangehörige A._ (geb. 1977) heiratete am 5. September 2001 in seiner Heimat eine damals im Kanton Zürich niedergelassene und inzwischen in der Schweiz eingebürgerte Landsfrau. Aufgrund der Heirat erhielt er am 22. März 2002 eine Aufenthaltsbewilligung, die in der Folge regelmässig verlängert wurde. Am 15. März 2007 wurde ihm die Niederlassungsbewilligung erteilt. Die Eheleute haben zwei Kinder (geb. 2004 und 2009), die beide das Schweizer Bürgerrecht besitzen.
B.
Mit Urteil des Bezirksgerichts Bülach vom 4. November 2014 wurde A._ wegen mehrfacher qualifizierter Widerhandlungen gegen das Betäubungsmittelgesetz (BetmG; SR 812.121) sowie der Widerhandlung gegen das Waffengesetz zu einer teilbedingten Freiheitsstrafe von 36 Monaten verurteilt. Zuvor war er bereits am 8. Januar 2003 zu einer Busse von Fr. 2'000.-- wegen grober Verletzung von Verkehrsregeln sowie am 5. November 2009 zu einer bedingten Geldstrafe von 60 Tagessätzen zu Fr. 150.-- und Busse von Fr. 1'500.-- wegen der Beschäftigung eines Ausländers ohne Bewilligung und des fahrlässigen Überlassens eines Motorfahrzeugs an einen Lenker ohne Führerausweis verurteilt worden. Das Migrationsamt des Kantons Zürich hatte A._ am 12. Februar 2003 aufgrund seiner Straffälligkeit verwarnt.
Der bedingte Vollzug der 2009 ausgesprochenen Geldstrafe wurde infolge der erneuten Straffälligkeit von A._ widerrufen. Weitere Strafverfahren wegen Geldwäscherei sowie verschiedener Delikte rund um den Konkurs eines von ihm mitgegründeten Kurierunternehmens wurden in Anwendung des Opportunitätsprinzips eingestellt, nachdem sich aufgrund der Betäubungsmitteldelinquenz eine mehrjährige Freiheitsstrafe abgezeichnet hatte.
C.
Mit Verfügung vom 22. April 2015 widerrief das Migrationsamt die Niederlassungsbewilligung von A._ zufolge der Verurteilung zu einer dreijährigen Freiheitsstrafe. Zugleich ordnete es an, dass dieser die Schweiz nach der Entlassung aus dem Strafvollzug unverzüglich zu verlassen habe. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich mit Entscheid vom 16. November 2015 ab, soweit es diesen nicht als gegenstandslos betrachtete. Das Verwaltungsgericht des Kantons Zürich wies die dagegen eingereichte Beschwerde mit Urteil vom 16. März 2016 ab.
D.
A._ erhebt am 2. Mai 2016 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt erstens sinngemäss die Aufhebung des angefochtenen Urteils. Zweitens sei die vorliegende Sache zur Neubeurteilung im Sinne der gestellten Anträge an die Vorinstanz zurückzuweisen. Drittens sei insbesondere zu prüfen und festzustellen, dass es sich um einen sog. "Härtefall" handle. Viertens sei ihm die "Aufenthaltsbewilligung C" zu verlängern.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Sicherheitsdirektion hat auf eine Vernehmlassung verzichtet. Das Migrationsamt und das Staatssekretariat für Migration haben sich nicht vernehmen lassen.

Erwägungen:
1.
1.1. Gegen den angefochtenen kantonal letztinstanzlichen Endentscheid (Art. 90 BGG sowie Art. 86 Abs. 1 lit. d und Abs. 2 BGG) über den Widerruf der Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig, da der Beschwerdeführer grundsätzlich einen Anspruch auf das Fortbestehen der Bewilligung geltend machen kann (<ref-ruling> E. 1.2.1 S. 4; Art. 83 lit. c Ziff. 2 BGG e contrario). Auf die form- und fristgerecht eingereichte Beschwerde (vgl. Art. 42 und 100 Abs. 1 BGG) des nach Art. 89 Abs. 1 BGG legitimierten Beschwerdeführers ist - mit nachfolgender Einschränkung (E 1.2) - einzutreten.
1.2. Nicht ganz klar ist, was der Beschwerdeführer meint, wenn er der Vorinstanz vorwirft, die Prüfung eines Härtefalls unterlassen zu haben. Sollte er sich damit auf Art. 30 Abs. 1 lit. b AuG berufen, kann im bundesgerichtlichen Verfahren darauf nicht eingegangen werden. Die Härtefallbewilligung kann von den Kantonen in Abweichung von den Zulassungsvoraussetzungen nach Art. 18 - 29 AuG erteilt werden; die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen entsprechende Entscheide ist jedoch gemäss Art. 83 lit. c Ziff. 5 BGG unzulässig. Sofern sich der Beschwerdeführer auf Art. 66a Abs. 3 StGB beziehen sollte, worauf die auf Seite 3 der Beschwerde aufgelisteten Rügen und die Ausführungen auf Seite 11 der Beschwerde deuten, ist darauf hinzuweisen, dass diese Bestimmung nur anwendbar ist für Delikte, die nach dem 1. Oktober 2016 verübt wurden (und neu eine obligatorische Landesverweisung nach sich ziehen). Die Frage bildet allerdings ohnehin nicht Streitgegenstand des vorliegenden Verfahrens, so dass nicht weiter auf den Antrag - und auch nicht die Frage, ob überhaupt ein Feststellungsinteresse besteht - einzugehen ist.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 3 S. 415). In Bezug auf die Verletzung von Grundrechten gilt indessen eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2.5 S. 314).
2.2. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 116 f.). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Eine entsprechende Rüge ist substanziiert vorzubringen; auf rein appellatorische Kritik an der Sachverhaltsfeststellung geht das Bundesgericht nicht ein (<ref-ruling> E. 10.1 S. 444 f.; <ref-ruling> E. 5.1 S. 356; <ref-ruling> E. 2.5 S. 314).
3.
3.1. Durch die Verurteilung zu einer Freiheitsstrafe von drei Jahren ist der Widerrufsgrund nach Art. 63 Abs. 1 lit. a AuG (SR 142.20) i.V.m. Art. 62 lit. b AuG (in der bis am 30. September 2016 geltenden, vorliegend noch massgeblichen Fassung) erfüllt (vgl. 139 I 145 E. 2.1 S. 147; <ref-ruling> E. 4.2 S. 379 ff.), was der Beschwerdeführer anerkennt. Allerdings rechtfertigt sich der Widerruf der Bewilligung nur, wenn die im Einzelfall vorzunehmende Interessenabwägung diese Massnahme als verhältnismässig (Art. 96 AuG; Art. 5 Abs. 2 BV) und mit dem Grundrecht auf Achtung des Privat- und Familienlebens (Art. 13 Abs. 1 BV; Art. 8 EMRK) vereinbar erscheinen lässt (<ref-ruling> E. 2.2 S. 147 f.; <ref-ruling> E. 4.3 S. 381 f.). Dabei sind insbesondere die Art und Schwere der vom Betroffenen begangenen Straftaten und des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit in der Schweiz sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen. Die Vorinstanz hat die Rechtsprechung zur Interessenabwägung bezogen auf Betäubungsmitteldelinquenz (insbesondere <ref-ruling> E. 2.4 und 2.5 S. 149 ff.; <ref-ruling> E. 2 S. 32 ff.; Urteil des EGMR Koffi gegen Schweiz vom 15. November 2012 [Nr. 38005/07] § 65 ff.) zutreffend wiedergegeben; es kann darauf verwiesen werden.
3.2.
3.2.1. Der Beschwerdeführer hat im Zeitraum vom 31. Mai 2012 bis zu seiner Verhaftung am 12. Juli 2012 im Auto seiner Ehefrau wiederholt erhebliche Mengen Heroin transportiert und aufbewahrt und sich hierfür jeweils eine Entlöhnung versprechen lassen. Angesichts der grossen Heroinmengen (vgl. im Einzelnen den Rekursentscheid der Sicherheitsdirektion vom 16. November 2015 E. 7.a) wurde er der mehrfachen qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz (im Sinne von Art. 19 Abs. 1 lit. b und d i.V.m. Art. 19 Abs. 2 lit. a BetmG) schuldig gesprochen. Zudem besass er unbefugterweise mehrere Schusswaffen (Schrot- bzw. Kipplaufflinte und Luftgewehre). Die das ausländerrechtliche Verfahren auslösende Verurteilung betrifft den (im Ausländerrecht) generell schwer zu gewichtenden Betäubungsmittelbereich (BGE <ref-ruling> E. 2.3.2 S. 34; <ref-ruling> E. 2.2.2 S. 20; <ref-ruling> E. 6 und 7 S. 220 ff.; <ref-ruling> E. 4a S. 527 mit Hinweisen; vgl. die EGMR-Urteile Dalia gegen Frankreich vom 19. Februar 1998, Recueil Cour CEDH 1998-I S. 92 § 54 und Koffi gegen Schweiz vom 15. November 2012 [Nr. 38005/07] § 65). Ergänzend kann darauf hingewiesen werden, dass nach Art. 66a Abs. 1 lit. o StGB eine Verurteilung - wie hier - im Rahmen von Art. 19 Abs. 2 BetmG künftig als Anlasstat für eine obligatorische strafrechtliche Landesverweisung gelten wird. Auch wenn die entsprechende Bestimmung noch keine Anwendung findet, unterstreicht sie doch die Bedeutung, welche der Verfassungs- und Gesetzgeber dem qualifizierten Drogenhandel im Hinblick auf die Gefährdung der Gesundheit einer Vielzahl von Personen beimisst (Umsetzung von Art. 121 Abs. 3 - 6 BV). Der Beschwerdeführer hat durch den Handel mit Heroin eine unbestimmte Anzahl von Personen abstrakt gefährdet. Seine Rüge, die Vorinstanz suggeriere in tendenziöser Weise ein falsches Bild, ist unbegründet: Die Vorinstanz hat vielmehr die aktenkundig vorliegenden - und als solche vom Beschwerdeführer auch nicht bestrittenen - Tatsachen aufgeführt und im Wesentlichen auf die verfahrensauslösende Verurteilung abgestellt. Die früheren Verurteilungen (vgl. Sachverhalt Bst. B) erwog sie nicht als einschlägig, erachtete diese allerdings zu Recht als Zeichen geringer Gesetzestreue. Sie hat sich insgesamt darauf beschränkt, die Fakten sachlich darzulegen; von der Vermittlung eines falschen Bildes, geschweige denn von einer Verletzung des Willkürverbots gemäss Art. 9 BV, kann keine Rede sein.
3.2.2. Der Beschwerdeführer bringt vor, sich in finanziellen Nöten und höchster Existenzangst um seine Familie befunden und sich nur deswegen auf die Drogendelinquenz eingelassen zu haben. Schon die Vorinstanz berücksichtigte in ihrem Urteil, dass gegen das vom Beschwerdeführer mitgegründete Unternehmen im Oktober 2011 der Konkurs eröffnet worden war und er damit rechnen musste, mit seinem Privatvermögen für die Verbindlichkeiten der konkursiten Gesellschaft aufkommen zu müssen. Offenbar war er aber gemäss eigenen Angaben noch im Jahr 2012 in der Lage, einen Geldkredit zwischen Fr. 25'000.-- und Fr. 30'000.-- aufzunehmen, um damit seine Familie im Kosovo zu unterstützen. Selbst wenn von einer angespannten finanziellen Situation beim Beschwerdeführer und seiner Familie ausgegangen würde, rechtfertigte dies allerdings seine - wie gesehen als schwer einzustufende - Delinquenz nicht. Sein Vorbringen vermag hieran nichts zu ändern.
3.2.3. Weiter durfte die Vorinstanz erschwerend berücksichtigen, dass der Beschwerdeführer bereits vorbestraft und ausländerrechtlich verwarnt worden war. Insgesamt ist daher nicht zu beanstanden, dass sie von einem erheblichen sicherheitspolizeilichen Interesse an der Beendigung des Aufenthalts ausgegangen ist.
3.3. Den öffentlichen Interessen sind die privaten Interessen an einem Verbleib in der Schweiz gegenüberzustellen.
3.3.1. Der Beschwerdeführer ist im Alter von 25 Jahren in die Schweiz gereist und lebt inzwischen seit fast 14 Jahren hier. Er beherrscht die hiesige Sprache und ist in sozialer Hinsicht offenbar im Rahmen üblicher Erwartungen integriert. Beruflich ist er (wieder) als Fahrer eines Paketdienst-Kuriers tätig. Die Vorinstanz wertet seine wirtschaftliche Integration jedoch zumindest durch seine Rolle rund um den Konkurs des von ihm gegründeten und geführten Kurierdienstes als getrübt. Ausserdem lastet sie ihm an, stark verschuldet zu sein. Die Sozialversicherungsanstalt des Kantons Zürich hat offenbar eine offene Schadenersatzforderung von ursprünglich über Fr. 120'000.--, die der Beschwerdeführer ratenweise zurückbezahlt. Ausserdem schuldet dieser Gerichtskosten in der Höhe von über Fr. 35'000.--. Immerhin hat ihm die Vorinstanz aber zugute gehalten, dass er sich in jüngster Zeit um eine Schuldenregulierung bemüht und anscheinend eine erste Tilgungszahlung gegenüber der Sozialversicherungsanstalt geleistet hat. Die in diesem Zusammenhang vom Beschwerdeführer im bundesgerichtlichen Verfahren eingereichte Abrechnung vom 14. April 2016 muss als echtes Novum vorliegend allerdings unbeachtet bleiben (Art. 99 Abs. 1 BGG; <ref-ruling> E. 3.1.2 S. 123; <ref-ruling> E. 2.1 S. 343 f.). Zusammengefasst ist der Beschwerdeführer somit schon seit längerer Zeit in der Schweiz. Dennoch bestehen im ausserfamiliären Bereich keine vertieften Beziehungen zur hiesigen Bevölkerung. In wirtschaftlicher Hinsicht trüben die hohen Schulden, selbst wenn bislang keine Unterstützung der Sozialhilfe nötig war, das Bild der Integration.
3.3.2. Der Beschwerdeführer ist im Kosovo aufgewachsen und hat dort eine Lehre als Automechaniker absolviert. Er ist regelmässig zu Besuch dort und hat offenbar weiterhin gute Kontakte zu Verwandten. Da er somit nach wie vor mit der Sprache und der Kultur vertraut ist, über soziale Beziehungen verfügt und mit 39 Jahren noch verhältnismässig jung ist, erscheint eine erfolgreiche soziale und wirtschaftliche Integration des Beschwerdeführers im Kosovo grundsätzlich möglich.
3.3.3. Auch die Würdigung der familiären Verhältnisse führt nicht zu einem anderen Ergebnis. Wie schon die Vorinstanz erwogen hat, ist der Beschwerdeführer mit einer Schweizerin verheiratet und Vater eines 6-jährigen Sohns und einer 12-jährigen Tochter, die beide ebenfalls das Schweizer Bürgerrecht besitzen. Die familiären Beziehungen sind intakt und wurden auch während der Untersuchungshaft und dem Strafvollzug des Beschwerdeführers so weit wie möglich gelebt. Dem Beschwerdeführer ist zuzustimmen, dass der Widerruf der Niederlassungsbewilligung zur Folge hat, dass die Familie getrennt würde. Seiner Ehefrau, die zwar selber auch aus dem Kosovo stammt, und insbesondere den Kindern ist es nicht ohne Weiteres zuzumuten, mit ihm auszureisen. Das Bundesgericht verkennt zudem nicht, dass insbesondere die Kinder des Beschwerdeführers ein anerkennenswertes Interesse daran haben, künftig mit ihrem Vater aufzuwachsen. Je schwerer aber die begangene Rechtsgutverletzung wiegt, desto eher vermag das öffentliche Interesse an einer Ausreise des Straftäters selbst das Interesse eines Kindes zu überwiegen, mit diesem Elternteil hier aufwachsen zu können (vgl. Urteile 2C_681/2016 vom 5. Januar 2017 E. 4.3; 2C_145/2016 vom 14. November 2016 E. 4.3.2; 2C_503/2014 vom 25. November 2014 E. 4.4.3 mit Hinweisen). Der Beschwerdeführer muss sich entgegen halten lassen, dass ihn sein intaktes Familienleben offensichtlich nicht von der Beteiligung am Drogenhandel abgehalten hat. Durch sein - nach ausländerrechtlicher Verwarnung - erfolgtes strafbares Verhalten hat er den Fortbestand seines Familienlebens in der Schweiz selbstverschuldet und mutwillig aufs Spiel gesetzt und die Trennung von seiner Familie in Kauf genommen. Soweit er vorbringt, seine Familie sei ohne seinen Verdienst allenfalls ergänzend auf Sozialhilfe angewiesen, ist darauf hinzuweisen, dass eine allfällige Sozialhilfebedürftigkeit der Familie unter diesen Umständen keinen Grund darstellt, den Widerruf seiner Niederlassungsbewilligung als unzumutbar erscheinen zu lassen. Im Übrigen ist seine Ehefrau bereits jetzt zumindest teilerwerbstätig und trägt damit zu einem gewissen Familieneinkommen bei.
3.3.4. Der Beschwerdeführer führt vor Bundesgericht erneut Fälle an, die seiner Ansicht nach mit seinem Fall vergleichbar seien und in denen das Bundesgericht zu einem anderen Resultat gelangt sei. Die Vorinstanz hat sich bereits damit befasst und ausführlich und richtig begründet, dass es sich um unterschiedliche Konstellationen handelte. Mit den vorinstanzlichen Ausführungen setzt sich der Beschwerdeführer nicht auseinander und legt nicht dar, inwiefern diese nicht zutreffen sollen. Unter diesen Umständen ist auf sein Vorbringen nicht weiter einzugehen (vgl. E. 2.2).
3.3.5. Insgesamt vermögen die privaten Interessen das öffentliche Interesse an der Beendigung des Aufenthalts nicht aufzuwiegen. Die Rückkehr in den Kosovo ist dem Beschwerdeführer zumutbar; die Einschränkung des Ehe- und Familienlebens hat er hinzunehmen. Die Vorinstanz durfte, ohne Bundes- und Konventionsrecht zu verletzen, die Niederlassungsbewilligung widerrufen.
3.4. Ergänzend bleibt darauf hinzuweisen, dass eine strafrechtliche Verurteilung die Erteilung einer neuen Aufenthaltsbewilligung nicht zwingend ein für alle Mal verunmöglicht. Soweit die ausländische Person, gegen die Entfernungsmassnahmen ergriffen wurden, einen Rechtsanspruch auf Erteilung einer Aufenthaltsbewilligung besitzt, kann nach einer gewissen Zeit, in der Regel nach fünf Jahren, eine Neubeurteilung angezeigt sein, sofern die betreffende Person das Land verlassen und sich in dieser Zeit bewährt hat (Urteil 2C_1103/2015 vom 21. Dezember 2016 E. 6.4 mit Hinweisen).
4.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist (E. 1.2). Dem Verfahrensausgang entsprechend wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 22. Februar 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Fuchs