Sachverhalt:
A.
A.a. A._ (geb. 1963) ist kosovarischer Staatsangehöriger. Am 5. Juli 1995 reiste er rechtswidrig in die Schweiz ein und wurde gleichentags mit einer bis zum 4. Juli 1997 gültigen Einreisesperre belegt. Nach seiner erneuten illegalen Einreise Mitte Mai 1999 wurde er mit Strafbefehl vom 23. Juli 1999 wegen rechtswidriger Einreise und rechtswidrigen Aufenthalts zu einer bedingten Gefängnisstrafe von 30 Tagen sowie einer Busse von Fr. 200.-- verurteilt. Am 18. Februar 2000 wurde er in den Kosovo ausgeschafft und mit einer bis zum 17. Februar 2003 gültigen Einreisesperre belegt.
A.b. Am 1. August 2009 reiste A._ mit einem slowenischen Aufenthaltstitel erneut in die Schweiz ein. Am 9. Oktober 2009 heiratete er in U._ die neun Jahre ältere Schweizerin B._, woraufhin er eine Aufenthaltsbewilligung im Rahmen des Familiennachzugs erhielt, welche letztmals bis zum 8. Oktober 2012 verlängert wurde. Wegen Verdachts auf Scheinehe überprüfte die Kantonspolizei Zürich die ehelichen Verhältnisse. Eine am 9. Oktober 2013 von B._ erstattete Strafanzeige gegen ihren Ehemann (u.a. wegen Eingehens einer Scheinehe) wurde mit Verfügung vom 7. Dezember 2013 nicht anhand genommen. In der Folge nahm das Migrationsamt des Kantons Zürich (hiernach: Migrationsamt) weitere Sachverhaltsabklärungen vor.
B.
Mit Verfügung vom 17. Juni 2015 wies das Migrationsamt das Gesuch von A._ um Verlängerung der Aufenthaltsbewilligung ab und forderte ihn auf, die Schweiz zu verlassen. Der hiergegen erhobene Rekurs bei der Sicherheitsdirektion blieb erfolglos (Entscheid vom 30. Juni 2016). Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 21. Dezember 2016 ebenfalls ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 31. Januar 2017 beantragt A._ die Aufhebung des vorinstanzlichen Urteils. Seine Aufenthaltsbewilligung sei zu verlängern. Eventualiter sei die Sache zur ergänzenden Beweiserhebung und neuen Entscheidung an die Vorinstanz zurückzuweisen.
Während das Migrationsamt und die Sicherheitsdirektion des Kantons Zürich sowie das Staatssekretariat für Migration auf Vernehmlassung verzichten, beantragt das Verwaltungsgericht die Abweisung der Beschwerde.
Mit Präsidialverfügung vom 2. Februar 2017 wurde der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer Angelegenheit des öffentlichen Rechts, der grundsätzlich der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG).
1.2. Nach Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen ausgeschlossen, auf deren Erteilung weder das Bundes- noch das Völkerrecht einen Rechtsanspruch einräumen. Den Angaben des Beschwerdeführers zufolge leben er und seine Ehefrau nicht mehr in einem gemeinsamen Haushalt (vgl. S. 12 der Beschwerdeschrift). Folglich fällt ein Aufenthaltsanspruch nach Art. 42 Abs. 1 AuG (SR 142.20) dahin. Der Beschwerdeführer beruft sich hingegen auf Art. 50 Abs. 1 lit. a AuG, welcher nach Auflösung der Ehegemeinschaft unter bestimmten Voraussetzungen einen Anspruch auf Verlängerung der Aufenthaltsbewilligung vorsieht. Ob die Bewilligungsvoraussetzungen tatsächlich gegeben sind, bildet praxisgemäss Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1 S. 332; <ref-ruling> E. 1.1 S. 179 f.) und ist keine Eintretensfrage. Folglich ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig.
1.3. Da der Beschwerdeführer als Adressat des angefochtenen Entscheids gemäss Art. 89 Abs. 1 BGG zur Erhebung der Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert ist und die Beschwerde frist- und formgerecht eingereicht wurde (vgl. Art. 42 und 100 Abs. 1 BGG), ist darauf einzutreten.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Vorbringen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5 S. 144). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.2. Zur Sachverhaltsfeststellung gehört auch die auf Indizien gestützte Beweiswürdigung. Die Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich als willkürlich im Sinn von Art. 9 BV, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 265 f.; Urteil 2C_310/2014 vom 25. November 2014 E. 1.2). Eine entsprechende Rüge ist substanziiert vorzubringen; auf rein appellatorische Kritik an der Sachverhaltsfeststellung bzw. Beweiswürdigung geht das Bundesgericht nicht ein (<ref-ruling> E. 10.1 S. 444 f.).
3.
3.1. Der Beschwerdeführer rügt eine Verletzung des Gebots des fairen Verfahrens im Sinne von Art. 29 Abs. 1 BV bzw. Art. 6 Ziff. 1 EMRK. Er macht geltend, die Befragung der Ehefrau durch das Migrationsamt sei mit Mängeln behaftet gewesen. Die Ehefrau sei nicht darüber informiert worden, ob sie als Auskunftsperson oder Zeugin befragt werde. Man habe sie nicht darüber belehrt, dass sie gegen ihren Ehemann nicht aussagen müsse. Die Beweise seien somit rechtswidrig erlangt worden und deshalb nicht verwertbar. Dasselbe gelte für die Befragung der Ehefrau ihres Sohnes, welche ebenfalls nicht über ihre Stellung im Verfahren und ihr Aussageverweigerungsrecht aufmerksam gemacht worden sei. Zudem habe der Beschwerdeführer bzw. sein Anwalt an keiner der Befragungen teilnehmen können.
3.2. Nach der Rechtsprechung können formelle Rügen bei ungünstigem Ausgang grundsätzlich nicht mehr vorgebracht werden, wenn sie bereits in einem früheren Stadium hätten geltend gemacht werden können (<ref-ruling> E. 5a am Ende S. 228; vgl. auch Urteil 2C_501/2012 vom 21. Dezember 2012 E. 4.2). Soweit ersichtlich hat es der Beschwerdeführer im kantonalen Verfahren unterlassen, allfällige Verfahrensfehler in Zusammenhang mit den betreffenden Befragungen zu rügen. Somit ist fraglich, ob auf seine diesbezüglichen Vorbringen überhaupt einzugehen ist. Dies braucht aber nicht abschliessend geklärt zu werden, da - wie nachfolgend erläutert - die Rügen des Beschwerdeführers ohnehin unbegründet sind.
3.3. Im Verwaltungsverfahren gilt der Untersuchungsgrundsatz. Beruft sich ein Ausländer auf eine Bestimmung des Ausländergesetzes, um daraus einen Aufenthaltsanspruch abzuleiten, obliegt es der zuständigen Behörde, die entsprechenden Voraussetzungen zu prüfen und die hierfür notwendigen Abklärungen zur Feststellung des rechtserheblichen Sachverhalts vorzunehmen. Darüber hinaus verpflichtet Art. 90 AuG sowohl die betroffenen Ausländerinnen und Ausländer als auch an ausländerrechtlichen Verfahren beteiligte Dritte ausdrücklich, an der Feststellung des für die Anwendung des Ausländergesetzes massgebenden Sachverhalts mitzuwirken, wobei sie insbesondere zutreffende und vollständige Angaben über die für die Regelung des Aufenthalts wesentlichen Tatsachen machen müssen (lit. a).
Nach der bundesgerichtlichen Rechtsprechung kommt dem strafprozessualen Schweigerecht im Verwaltungsverfahren in aller Regel keine direkte Bedeutung zu (vgl. hierzu <ref-ruling> E. 3.4.2 S. 70; <ref-ruling> E. 2.6 S. 51 ff.). Zwar hat der Europäische Gerichtshof für Menschenrechte (EGMR) erkannt, es könne ein Verstoss gegen das in Art. 6 Ziff. 1 EMRK garantierte Recht auf ein faires Verfahren vorliegen, wenn bei der Sachverhaltsermittlung im Verwaltungsverfahren Zwang oder Druck ausgeübt werde und die Möglichkeit bestehe, die auf diesem Wege gewonnenen Informationen im Strafprozess gegen dieselbe Person zu verwenden (vgl. Urteil des EGMR Chambaz gegen Schweiz vom 5. April 2012 Rz. 52 ff.).
Eine solche Konstellation ist hier jedoch nicht ansatzweise gegeben. Zum Zeitpunkt der Befragung der Ehefrau (12. März und 17. Juni 2014) und ihrer Schwiegertochter (17. Juni 2014) war kein Strafverfahren gegen den Beschwerdeführer anhängig. Auf die von der Ehefrau am 9. Oktober 2013 gegen ihn erstattete Strafanzeige war mit Verfügung vom 7. Dezember 2013 nicht eingetreten worden. Dessen ungeachtet wurde unbestrittenermassen weder auf die Ehefrau des Beschwerdeführers noch auf deren Schwiegertochter in irgendeiner Form Druck ausgeübt, damit diese den Beschwerdeführer belasten.
Vorliegend ersuchte der Beschwerdeführer um Verlängerung seiner Aufenthaltsbewilligung unter Berufung auf seine Ehe mit einer Schweizerin. Folglich oblag es dem Migrationsamt, Abklärungen zur Feststellung des Sachverhalts vorzunehmen, zumal Indizien vorlagen, welche auf das Bestehen einer Scheinehe hindeuteten. In diesem Zusammenhang durfte es sowohl die Ehefrau als auch weitere beteiligte Dritte befragen, welche gemäss Art. 90 AuG zur wahrheitsgemässen Auskunftserteilung verpflichtet waren. Im Vorgehen des Migrationsamtes liegt weder eine rechtswidrige Beweismittelbeschaffung noch eine Verletzung des strafprozessualen Verwertungsverbots. Auch in der Tatsache, dass der Beschwerdeführer bzw. sein Rechtsvertreter nicht an den Befragungen teilnehmen konnten, liegt keine Rechtsverletzung, da dem Beschwerdeführer die Möglichkeit eingeräumt wurde, sich zu den Befragungsprotokollen zu äussern.
3.4. Nicht zu hören ist ferner die Rüge des Beschwerdeführers, die Vorinstanz habe sein rechtliches Gehör und den Untersuchungsgrundsatz verletzt, weil sie die Ehefrau nicht nochmals einvernommen habe. Der Anspruch auf rechtliches Gehör ist nicht verletzt, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in antizipierter Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert werde (<ref-ruling> E. 6.3.1 S. 299 mit Hinweisen). Der Beschwerdeführer zeigt nicht auf, welche neuen entscheidrelevanten Erkenntnisse aus einer erneuten Befragung der Ehefrau hätten gewonnen werden können; im Gegenteil stellt er selbst deren Glaubwürdigkeit in Frage. Im Übrigen ist die Ehefrau im Rahmen der Ereignisse bereits mehrmals befragt worden (sowohl durch das Migrationsamt als auch im Rahmen des Strafverfahrens). Dass die Vorinstanz unter diesen Umständen auf eine weitere Anhörung verzichtet hat, ist in jeder Hinsicht nachvollziehbar.
4.
Der Beschwerdeführer rügt eine Verletzung von Art. 50 AuG.
4.1. Die Ansprüche nach Art. 50 AuG erlöschen, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um Vorschriften dieses Gesetzes und seiner Ausführungsbestimmungen über die Zulassung und den Aufenthalt zu umgehen (Art. 51 Abs. 1 lit. a AuG). Hierunter fällt unter anderem die sogenannte Scheinehe oder Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen (<ref-ruling> E. 2.2 S. 151; <ref-ruling> E. 4.2 S. 117).
4.2. Ob eine Scheinehe geschlossen wurde bzw. ob die Ehe bloss formell besteht, entzieht sich in der Regel dem direkten Beweis und ist nur durch Indizien zu erstellen (<ref-ruling> E. 5a S. 57). Zu diesen Indizien gehören unter anderem folgende Umstände: Die Tatsache, dass die nachzuziehende Person von einer Wegweisung bedroht ist oder ohne Heirat keine Aufenthaltsbewilligung erlangen kann; das Vorliegen eines erheblichen Altersunterschieds zwischen den Ehegatten; die Umstände des Kennenlernens und der Beziehung, so etwa eine kurze Bekanntschaft vor der Heirat oder geringe Kenntnisse eines Ehegatten über den anderen; die Vereinbarung einer Bezahlung für die Heirat oder auch die Tatsache, dass die Ehegatten nie eine Wohngemeinschaft aufgenommen haben (vgl. <ref-ruling> E. 3.1 S. 152; Urteil 2C_154/2015 vom 17. März 2015 E. 2.3). Eine Scheinehe liegt umgekehrt nicht bereits dann vor, wenn auch ausländerrechtliche Motive den Eheschluss beeinflusst haben. Erforderlich ist, dass der Wille zur Führung der Lebensgemeinschaft im Sinne einer auf Dauer angelegten wirtschaftlichen, körperlichen und spirituellen Verbindung zumindest bei einem der Ehepartner fehlt (vgl. <ref-ruling> E. 3b S. 102). Grundsätzlich muss die Migrationsbehörde die Ausländerrechtsehe nachweisen. Dass eine solche vorliegt, darf dabei nicht leichthin angenommen werden (vgl. <ref-ruling> E. 2.2 S. 151). Die Behörden müssen den Sachverhalt von Amtes wegen möglichst zuverlässig abklären; indessen wird der Untersuchungsgrundsatz durch die Mitwirkungspflicht der Parteien relativiert (vgl. Art. 90 AuG). Diese kommt naturgemäss bei Tatsachen zum Tragen, die eine Partei besser kennt als die Behörden und die ohne ihre Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand erhoben werden können (vgl. <ref-ruling> E. 8.6.4 S. 496 f.). Das gilt insbesondere, wenn bereits gewichtige Hinweise für eine Ausländerrechtsehe sprechen; dann wird von den Eheleuten erwartet, dass sie von sich aus Umstände vorbringen und belegen, um den echten Ehewillen glaubhaft zu machen (Urteil 2C_936/2016 vom 17. März 2017 E. 2.3).
4.3. Der Beschwerdeführer macht in erster Linie geltend, die Vorinstanz habe zu Unrecht auf die Angaben der Ehefrau abgestellt, obwohl diese ein krass widersprüchliches Aussageverhalten an den Tag gelegt habe. Es trifft zu, dass die Ehefrau bei ihren Befragungen widersprüchliche Aussagen gemacht hat: So behauptete sie bei ihrer Befragung im Oktober 2011, aus Liebe geheiratet und kein Geld für die Heirat entgegen genommen zu haben. Im Oktober 2013 erstattete sie indessen eine Strafanzeige u.a. wegen Eingehens einer Scheinehe gegen ihren Mann, aber anlässlich der polizeilichen Befragung im November 2013 sagte sie aus, die Eheleute hätten sich auseinandergelebt, sie liebe ihren Ehemann nicht mehr und wolle ihn loswerden. Bei späteren Befragungen durch das Migrationsamt gab sie an, für die Heirat Fr. 5'000.-- erhalten und nie eine eheliche Beziehung geführt zu haben. Dass das widersprüchliche Aussageverhalten der Ehefrau mit Zurückhaltung zu würdigen ist, liegt auf der Hand. Zu beachten ist allerdings auch, dass deren spätere Angaben von ihrer Schwiegertochter bestätigt wurden, welche zudem aussagte, bei der Übergabe des Geldes dabei gewesen zu sein. Entgegen der Auffassung des Beschwerdeführers hat die Vorinstanz jedoch nicht einzig auf die Aussagen der Ehefrau abgestellt, sondern kam aufgrund von zahlreichen anderen Indizien zum Schluss, dass eine inhaltsleere Ehe geführt worden sei. Diese Schlussfolgerung ist insgesamt überzeugend: Mangels beruflicher Qualifikation hätte der Beschwerdeführer ohne Heirat mit einer hier anwesenheitsberechtigten Person keine Aufenthaltsbewilligung erhalten. Gemäss den Sachverhaltsfeststellungen der Vorinstanz war die Ehefrau des Beschwerdeführers vor der Eheschliessung in nicht unerheblichem Masse verschuldet und gehörte insofern zur typischen Zielgruppe für eine Zweckehe. Wenige Monate nach der Heirat sind die Eheleute mit dem Sohn, der Schwiegertochter und der Enkelin der Ehefrau in eine andere Wohnung gezogen, wobei der Beschwerdeführer den Mietvertrag nicht unterzeichnet hat. Bei insgesamt sechs polizeilichen Kontrollen konnte der Beschwerdeführer nie in der ehelichen Wohnung angetroffen werden. Anlässlich einer polizeilichen Einvernahme im Oktober 2011 konnte er keine korrekte Skizze des ehelichen Schlafzimmers anfertigen. In der angeblich gemeinsamen Wohnung in V._ fanden sich mit Ausnahme von zwei Briefen keine Hinweise auf die Anwesenheit des Beschwerdeführers. Insbesondere konnten bei der polizeilichen Kontrolle vom 27. Juni 2011 keine Kleidungsstücke des Beschwerdeführers vorgefunden werden. Im Schlafzimmer stand lediglich ein Einzelbett. Darüber hinaus lässt sich den Befragungsprotokollen aus dem Jahr 2011 entnehmen, dass die Ehegatten nur sehr allgemeine Kenntnisse voneinander haben, namentlich in Bezug auf die Ausbildung und das Vorleben des Partners sowie die Kinder aus früheren Beziehungen. Der Beschwerdeführer konnte sich nicht an das Hochzeitsdatum erinnern und ging fälschlicherweise davon aus, dass seine Ehefrau bereits verheiratet gewesen sei. Ferner stimmen die Aussagen der Eheleute in verschiedenen Punkten nicht überein, beispielsweise was den Verlauf ihrer Bekanntschaft, den Entschluss zur Ehe oder die Trauzeugen betrifft. Ebenso äusserten sie sich widersprüchlich zur Freizeitgestaltung und hinsichtlich ihres jeweiligen Beitrags zum Unterhalt der Ehegemeinschaft. Der Auffassung des Beschwerdeführers, dass in den Aussagen der Ehegatten keine nennenswerten Widersprüche erkennbar seien, kann somit in keiner Weise gefolgt werden.
4.4. Soweit der Beschwerdeführer die Sachverhaltsfeststellung durch die Vorinstanz als willkürlich rügt, beschränkt er sich darauf, dem Bundesgericht appellatorisch seine eigene, abweichende Auffassung zur Fakten- und Beweislage vorzutragen; er legt aber nicht dar, inwiefern die Sachverhaltsfeststellungen der Vorinstanz offensichtlich unrichtig bzw. deren Beweiswürdigung willkürlich wären (vgl. E. 2.2 hiervor). Die übrigen Vorbringen des Beschwerdeführers vermögen die vom Verwaltungsgericht gezogenen Schlussfolgerungen nicht als bundesrechtswidrig erscheinen zu lassen. Der Beschwerdeführer versucht im Wesentlichen, die aufgelisteten Indizien zu relativieren und macht geltend, dass daraus nicht das Bestehen einer Scheinehe abgeleitet werden könne. Er bringt jedoch nichts vor, was die von der Vorinstanz vorgenommene Würdigung der verschiedenen für eine Scheinehe sprechenden Indizien zu erschüttern vermöchte. Das Verwaltungsgericht ist aufgrund einer Gesamtwürdigung aller Umstände (u.a. Aufenthaltssituation des Beschwerdeführers, Wohnsituation, Ergebnisse der polizeilichen Kontrollen, Profil und Aussageverhalten der Beteiligten) zum Schluss gekommen, dass eine inhaltsleere Ehe geführt worden sei, welche in erster Linie zum Ziel hatte, dem Beschwerdeführer ein Anwesenheitsrecht in der Schweiz zu verschaffen. Vor dem Hintergrund der vorstehend aufgeführten Umstände ist dieser Schluss ohne Weiteres nachvollziehbar und verletzt kein Bundesrecht.
4.5. Nach dem Gesagten ist das vorinstanzliche Urteil nicht zu beanstanden. Aufgrund der festgestellten Indizien erweist sich der Schluss, die Berufung auf die Ehe sei rechtsmissbräuchlich, als zutreffend. Die Vorinstanz hat demnach weder Konventions- noch Bundesrecht verletzt, indem sie das Vorliegen einer Scheinehe bejahte.
5.
5.1. Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen.
5.2. Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 65 und Art. 66 Abs. 1 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 18. August 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Petry