Erwägungen:
1.
Der 1972 geborene kosovarische Staatsangehörige A._ reiste 1994 in die Schweiz ein und ersuchte hier erfolglos um Asyl. Kurz vor Ablauf der Ausreisefrist heiratete er 1998 eine in der Schweiz niedergelassene laotische Staatsangehörige, worauf ihm zuerst eine Aufenthaltsbewilligung und im Jahr 2003 die Niederlassungsbewilligung erteilt wurde. Im Dezember 2007 ersuchte er um Familiennachzug für drei Kinder (geboren 1997, 1999 und 2002), welche allesamt aus einer ausserehelichen Beziehung mit einer kosovarischen Landsfrau stammen. Im August 2008 liess sich A._ von seiner laotischen Ehefrau scheiden und im September 2008 heiratete er die kosovarische Mutter der gemeinsamen Kinder. Anfang 2009 ersuchte er sodann auch um Nachzug seiner neuen Ehefrau sowie eines weiteren, im Jahr 2007 geborenen Kindes. Das Migrationsamt des Kantons Zürich wies indes sämtliche Nachzugsgesuche ab und widerrief stattdessen die Niederlassungsbewilligung von A._, was letztinstanzlich vom Bundesgericht bestätigt wurde (Urteil 2C_205/2014 vom 6. Juni 2014).
Noch vor dem Ergehen des genannten bundesgerichtlichen Urteils liess sich A._ am 31. Januar 2014 wieder von der kosovarischen Kindsmutter scheiden und heiratete im Kosovo am 6. März 2014 - d.h. während der Litispendenz des Nachzugs- und Widerrufsverfahrens vor Bundesgericht -eine rund 19 Jahre jüngere deutsche Staatsangehörige, welche in der Schweiz als Au-pair arbeitete und eine Aufenthaltsbewilligung EU/EFTA besitzt. Am 24. Juni 2014, nur einen Tag nach Zustellung des bundesgerichtlichen Urteils 2C_205/2014, stellte er unter Hinweis auf die neue Ehe mit der deutschen Staatsangehörigen wiederum ein Gesuch um Erteilung einer Aufenthaltsbewilligung für die Schweiz. Das Gesuch wurde kantonal letztinstanzlich mit Urteil des Verwaltungsgerichts des Kantons Zürich vom 17. Februar 2017 abgewiesen und A._ aus der Schweiz weggewiesen.
Hiergegen beschwert sich der Betroffene beim Bundesgericht und verlangt im Wesentlichen, auf seine Wegweisung zu verzichten und ihm eine Aufenthaltsbewilligung zu erteilen. Die Sicherheitsdirektion und das Verwaltungsgericht des Kantons Zürich verzichten auf eine Stellungnahme. Mit Schreiben vom 1. Juni 2017 wurde dem Beschwerdeführer das Vernehmlassungsergebnis mitgeteilt. Innert der angesetzten Frist erfolgte keine weitere (fakultative) Eingabe.
Mit Verfügung vom 30. März 2017 lehnte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung und Abnahme der Ausreisefrist ab.
2.
Soweit sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen die Wegweisung richtet, ist sie von vornherein unzulässig (<ref-law>), weswegen in diesem Umfang nicht darauf einzutreten ist. Soweit sich die Beschwerde zulässigerweise gegen die Nichterteilung der Aufenthaltsbewilligung richtet, erweist sich das Rechtsmittel als offensichtlich unbegründet, weswegen es im vereinfachten Verfahren gemäss Art. 109 Abs. 2 lit. a i.V.m. Abs. 3 BGG, d.h. mit summarischer Begründung und unter Verweis auf den angefochtenen Entscheid, zu erledigen ist:
2.1. Die Vorinstanz hat zutreffend aufgezeigt, dass dem Ehepartner einer in der Schweiz aufenthaltsberechtigten Person, welche sich auf das Freizügigkeitsabkommen mit der Europäischen Union resp. deren Mitgliedstaaten berufen kann, wohl grundsätzlich ein abgeleitetes Aufenthaltsrecht in der Schweiz zusteht, doch dieser Anspruch unter dem Vorbehalt des Rechtsmissbrauchsverbots steht. Von Rechtsmissbrauch ist insbesondere bei Vorliegen von Scheinehen auszugehen. Auf die entsprechenden Ausführungen im angefochtenen Entscheid, welche die anwendbaren gesetzlichen Bestimmungen sowie die ergangene Rechtsprechung des Bundesgerichts korrekt wiedergeben, kann an dieser Stelle verwiesen werden.
2.2. Im hier zu beurteilenden Fall durfte die Vorinstanz ohne gegen Bundes- oder Staatsvertragsrecht zu verletzen, insbesondere aufgrund folgender Umstände vom Vorliegen einer rechtsmissbräuchlichen Scheinehe ausgehen:
- Der Beschwerdeführer ging bereits früher eine Scheinehe ein, als er ein erstes Mal mit einer Ausreiseverpflichtung konfrontiert war;
- Zeitliche Abläufe: Nach Scheidung von seiner ersten, laotischen Frau und nach Wiederverheiratung mit der kosovarischen Mutter seiner ausserehelichen Kinder erfolgte eine erneute Scheidung, während der Widerruf seiner Niederlassungsbewilligung vor Bundesgericht hängig war, obwohl er noch in der Beschwerde ans Bundesgericht an seiner Absicht zum Familiennachzug festhielt. Kurze Zeit später erfolgte die Heirat mit einem in der Schweiz tätigen deutschen Au-pair und einen Tag nach Zustellung des bundesgerichtlichen Urteils betreffend den Bewilligungswiderruf stellte er ein erneutes Gesuch um Erteilung einer Aufenthaltsbewilligung, gestützt auf die soeben abgeschlossene dritte Ehe;
- Grosser Altersunterschied zwischen den Gatten;
- Erhebliche Verbesserung der finanziellen Situation der Ehefrau des Beschwerdeführers aufgrund der Heirat: Vorher verdiente sie als Au-pair Fr. 800.--/Monat zuzüglich Kost und Logis, heute hat sie einen Arbeitsvertrag mit dem Beschwerdeführer und verdient bei einem Pensum von 70 % Fr. 2'800.--/Monat, wobei der Beschwerdeführer zusätzlich noch für die Logis aufkommt;
- Regelmässige Reisen des Beschwerdeführers in den Kosovo, jedoch stets ohne seine aktuelle Ehefrau;
- Die Ehefrau erklärte bei einer polizeilichen Befragung, keine gemeinsamen Bekannten zu haben und auch noch nie gemeinsame Ferien verbracht zu haben;
- Die Ehefrau kannte die korrekte Anzahl der Geschwister des Beschwerdeführers nicht und dieser kannte wiederum weder den Namen der Eltern noch jenen der Schwester der Ehefrau.
2.3. Die Ausführungen des Beschwerdeführers, welche darauf abzielen, jede der obigen Auffälligkeiten für sich alleine betrachtet zu relativieren, vermögen am Gesamteindruck, der bei Würdigung sämtlicher Umstände entsteht, nichts zu ändern. Gleiches gilt für die vom Beschwerdeführer eingereichten Fotos von sich und seiner Ehefrau. Dass anlässlich eines Hausbesuches nicht noch weitere Indizien für eine Scheinehe vermerkt wurden, vermag die vorhandenen Hinweise schliesslich ebenso wenig zu entkräften.
Auch eine Verletzung des rechtlichen Gehörs liegt nicht vor: Entgegen den Behauptungen des Beschwerdeführers war die persönliche Einvernahme von insgesamt zehn Zeugen aus dem persönlichen Umfeld der Gatten aus verfassungsrechtlicher Perspektive nicht zwingend erforderlich: Zum einen bestand die Möglichkeit, entsprechende Stellungnahmen in schriftlicher Form ins Verfahren einzubringen, was der Beschwerdeführer auch getan hat. Zum andern durfte die Vorinstanz bei Würdigung dieser Stellungnahmen sowie der obig aufgeführten Auffälligkeiten in antizipierter Beweiswürdigung zum Schluss gelangen, dass eine zusätzliche persönliche Befragung der angerufenen Zeugen nichts mehr an ihrer Entscheidung ändern wird.
3.
Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (<ref-law>). Parteientschädigungen sind nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten in Höhe von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, sowie dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 24. August 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Zähndler