Sachverhalt:
A.
Der österreichische Staatsangehörige A._ (geb. 1957) wurde am 16. April 2006 in der Schweiz verhaftet und am 24. November 2006 nach Österreich ausgeliefert. In den Jahren zuvor hatte er sich den österreichischen Strafverfolgungsbehörden entzogen und jahrelang unter einem Alias-Namen bei der Schweizerin B._ (geb. 1950) gelebt, wobei er im Sommer 2005 die Identität deren verstorbenen Lebenspartners angenommen hatte. Am 26. September 2006 heiratete er B._.
A._ erwirkte in Österreich, Deutschland und der Schweiz in den Jahren 1976 bis 2007 19 Verurteilungen zu Geld- und Freiheitsstrafen, hauptsächlich wegen Vermögensdelikten, wobei sich die Freiheitsstrafen auf insgesamt rund 25 Jahre belaufen. Seit 1998 erfolgten folgende strafrechtlichen Verurteilungen:
- Am 5. März 1998 wurde A._ vom Landesgericht Salzburg wegen gewerbsmässigen schweren Betrugs und Diebstahls zu einer Freiheitsstrafe von einem Jahr verurteilt.
- Am 14. Oktober 1998 verurteilte ihn das Landesgericht Klagenfurt wegen gewerbsmässigen schweren Betrugs und Diebstahls zu einer 18-monatigen Freiheitsstrafe.
- Am 27. April 2001 erging eine Verurteilung des Landesgerichts Salzburg zu einer Freiheitsstrafe von dreieinhalb Jahren wegen versuchten gewerbsmässigen schweren Betrugs.
- In der Schweiz erfolgte am 12. Juli 2006 eine Verurteilung zu sechs Monaten Gefängnis wegen Zechprellerei, Betrugs, Urkundenfälschung, Veruntreuung, Fälschung von Ausweisen und SVG-Delikten.
- Zuletzt verurteilte ihn das Landesgericht Salzburg am 5. Februar 2007 zu einer Freiheitsstrafe von dreieinhalb Jahren - als Zusatzstrafe zur Verurteilung vom 12. Juli 2006 - wegen (versuchten) gewerbsmässigen schweren Betrugs.
Vom 24. November 2006 bis 9. März 2012 befand sich A._ im Strafvollzug in Österreich.
Das Bundesamt für Migration verfügte am 27. Dezember 2006 eine bis 26. Dezember 2012 gültige Einreisesperre. Nach der Entlassung aus dem Strafvollzug reiste A._ am 23. März 2012 erneut in die Schweiz ein, wo er am 16. April 2012 um Erteilung einer Aufenthaltsbewilligung ersuchte. Einem Gnadengesuch von A._ leistete das österreichische Bundesministerium für Justiz mit Schreiben vom 11. Dezember 2012 keine Folge.
B.
Am 14. Februar 2013 verweigerte das Migrationsamt das Kantons Zürich die Erteilung einer Aufenthaltsbewilligung für A._ und wies ihn aus der Schweiz weg. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 10. Juli 2013 ab. Die anschliessende Beschwerde an das Verwaltungsgericht des Kantons Zürich blieb erfolglos.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Januar 2014 beantragt A._, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 4. Dezember aufzuheben und ihm eine Aufenthaltsbewilligung zu erteilen.
Das Verwaltungsgericht des Kantons Zürich verzichtet auf Vernehmlassung. Das Bundesamt für Migration beantragt die Abweisung der Beschwerde. Die Vernehmlassung der Sicherheitsdirektion des Kantons Zürich erfolgte verspätet und bleibt daher unberücksichtigt.
D.
Am 31. Januar 2014 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Der Beschwerdeführer ist österreichischer Staatsangehöriger, in der Schweiz unbefristet angestellt und mit einer Schweizerin verheiratet. Er hat demnach grundsätzlich Anspruch auf Erteilung einer Aufenthaltsbewilligung - sowohl nach internem Recht (Art. 42 AuG [SR 142.20]) wie auch nach Art. 6 Anhang I des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Union und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde des hierzu legitimierten Beschwerdeführers (Art. 89 BGG) ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweis). Hinsichtlich der Verletzung von Grundrechten, darin eingeschlossen solcher, die sich aus Völkerrecht ergeben, gilt eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; <ref-ruling> E.2 S. 232; <ref-ruling> E. 1.6 S. 280 f.).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 BGG; <ref-ruling> E. 10.1 S. 445 mit Hinweisen). Die betroffene Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinne mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.; <ref-ruling> E. 1.3 S. 351 f.). Rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung genügt den Begründungs- bzw. Rügeanforderungen nicht (<ref-ruling> E. 10.1 S. 445 mit Hinweisen).
2.
2.1. Die Erteilung bzw. der Widerruf von Aufenthaltsbewilligungen richtet sich grundsätzlich nach dem Ausländergesetz (AuG). Für Staatsangehörige der Mitgliedstaaten der Europäischen Union hat das Ausländergesetz allerdings nur insoweit Geltung, als das Freizügigkeitsabkommen keine abweichenden Bestimmungen enthält oder das Ausländergesetz günstigere Bestimmungen vorsieht (Art. 12 FZA i.V.m. Art. 2 Abs. 2 AuG; <ref-ruling> E. 1.2 S. 180 mit Hinweisen).
2.2. Gemäss Art. 4 FZA i.V.m. Art. 6 Anhang I FZA hat ein Staatsangehöriger einer Vertragspartei, der mit einem Arbeitgeber des Aufnahmestaates ein Arbeitsverhältnis eingegangen ist, Anspruch auf Erteilung einer Aufenthaltserlaubnis, die je nach Dauer des Arbeitsverhältnisses unterschiedlich lange gültig ist (<ref-ruling> E. 2.2 S. 15; Urteil 2C_1155/2012 vom 8. Mai 2013 E. 2.1). Die Anwesenheit des Beschwerdeführers in der Schweiz ist unter anderem mit einer unbefristeten Anstellung im Inland verbunden, sodass er sich grundsätzlich auf das FZA berufen und daraus ein eigenständiges Anwesenheitsrecht ableiten kann (<ref-ruling> E. 2.2 S. 178). Dieses Anwesenheitsrecht kann unter den Voraussetzungen von Art. 5 Anhang I FZA eingeschränkt werden (vgl. unten E. 3.3; <ref-ruling> E. 5.3 S. 125 f.; <ref-ruling> E. 4.1-4.2 S. 19 f.; je mit Hinweisen). Das interne Recht enthält insoweit keine günstigeren Vorschriften.
2.3. Die Ehefrau des Beschwerdeführers ist Schweizer Bürgerin. Es besteht nach internem Recht ein Anspruch auf Familiennachzug gemäss Art. 42 AuG. Nicht anwendbar ist auf die vorliegende Konstellation das abgeleitete Aufenthaltsrecht nach Art. 3 Anhang I FZA, setzt dieses doch voraus, dass die Person, von der die Familienangehörigen ihre Rechtsstellung ableiten, von ihrem Freizügigkeitsrecht Gebrauch gemacht hat (<ref-ruling> E. 4.2 S. 259 f.; THOMAS HUGI YAR, Von Trennungen, Härtefällen und Delikten - Ausländerrechtliches rund um die Ehe- und Familiengemeinschaft, in: Jahrbuch für Migrationsrecht 2012/2013, 2013, S. 31 ff., 40). Der ausserhalb des Freizügigkeitsabkommens stehende Anspruch auf Familiennachzug nach Art. 42 AuG erlischt bei Vorliegen eines Widerrufsgrundes im Sinne von Art. 63 AuG (Art. 51 Abs. 1 lit. b AuG).
3.
3.1. Die Ansprüche nach Art. 42 AuG erlöschen namentlich, wenn der Ausländer zu einer längerfristigen Freiheitsstrafe, d.h. zu einer solchen von mehr als einem Jahr, verurteilt worden ist, wobei mehrere unterjährige Strafen nicht zu kumulieren sind (Art. 51 Abs. 1 lit. b. i.V.m. Art. 63 Abs. 1 lit. a und Art. 62 lit. b AuG; <ref-ruling> E. 2.1 S. 32, 16 E. 2.1 S. 18 mit Hinweisen). Dabei spielt keine Rolle, ob die Sanktion bedingt, teilbedingt oder unbedingt ausgesprochen wurde (<ref-ruling> E. 2.1 S. 32, 16 E. 2.1 S. 18). Nach der bundesgerichtlichen Rechtsprechung dürfen grundsätzlich auch Verurteilungen durch ein ausländisches Gericht berücksichtigt werden. Dies jedenfalls dann, wenn es sich bei den infrage stehenden Delikten nach der schweizerischen Rechtsordnung um Verbrechen oder Vergehen handelt und der Schuldspruch in einem Staat erfolgt ist, in dem die Einhaltung der rechtsstaatlichen Verfahrensgrundsätze und Verteidigungsrechte als gesichert gelten kann (Urteile 2C_694/2013 vom 26. März 2014 E. 4.1; 2C_1116/2012 vom 20. Juni 2013 E. 2.4; 2C_264/2011 vom 15. November 2011 E. 3.3; vgl. auch <ref-ruling> E. 4.3.1 S. 29).
3.2. Ein Erlöschens- bzw. Widerrufsgrund liegt weiter vor, wenn der Ausländer in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder diese gefährdet (Art. 51 Abs. 1 lit. b i.V.m. Art. 63 Abs. 1 lit. b AuG). Das ist regelmässig der Fall, wenn er durch seine Handlungen besonders hochwertige Rechtsgüter verletzt oder in Gefahr bringt. Indes können auch vergleichsweise weniger gravierende Pflichtverletzungen als "schwerwiegend" im Sinne von Art. 63 Abs. 1 lit. b AuG bezeichnet werden. So erlöschen die Ansprüche nach Art. 42 AuG etwa dann, wenn sich der Ausländer von strafrechtlichen Massnahmen nicht beeindrucken lässt und damit zeigt, dass er auch künftig weder gewillt noch fähig ist, sich an die Rechtsordnung zu halten, was jeweils im Rahmen einer Gesamtbetrachtung zu prüfen ist (Art. 80 VZAE [SR 142.201]; <ref-ruling> E. 2.1 S. 32 f., 16 E. 2.1 S. 18 f.; <ref-ruling> E. 3 S. 302 ff.).
3.3. Im Rahmen des Freizügigkeitsabkommens ist Folgendes zu berücksichtigen: Art. 5 Anhang I FZA steht aufenthaltsbeendenden Massnahmen entgegen, die (allein) aus generalpräventiven Gründen verfügt werden. Damit kommt es wesentlich auf das Rückfallrisiko an. Verlangt wird eine nach Art und Ausmass der möglichen Rechtsgüterverletzung zu differenzierende, hinreichende Wahrscheinlichkeit, dass der Ausländer auch künftig die öffentliche Sicherheit und Ordnung stören wird (Art. 5 Abs. 2 Anhang I FZA i.V.m. Art. 3 der Richtlinie 64/221/EWG [ABl. Nr. 56. S. 850]; <ref-ruling> E. 5.3 S. 125 f. mit Hinweisen; Urteil des EuGH vom 27. Oktober 1977 C-30/77 Bouchereau, Slg. 1977 S. 1999 Randnrn. 27 ff.). Je schwerer die möglichen Rechtsgüterverletzungen wiegen, desto niedriger sind die Anforderungen, welche an die hinzunehmende Rückfallgefahr zu stellen sind (BGE <ref-ruling> E. 4.2 S. 20 mit Hinweisen). Dass ein Ausländer "bloss" wegen Vermögensdelikten verurteilt worden ist, steht Entfernungsmassnahmen auch im Rahmen des FZA nicht entgegen (<ref-ruling> E. 4.3.1 S. 29; Urteile 2C_200/2013 vom 16. Juli 2013 E. 5.4; 2C_839/2011 vom 28. Februar 2012 E. 3.1 mit Hinweis). Gemäss der Rechtsprechung des EuGH (zu deren Berücksichtigung vgl. Art. 16 Abs. 2 FZA; <ref-ruling> E. 3.2 S. 117 f. mit Hinweisen) kann ein Verhalten namentlich dann nicht als hinreichend schwerwiegend betrachtet werden, um Beschränkungen der Einreise oder des Aufenthalts zu rechtfertigen, wenn gegenüber dem gleichen Verhalten, das von eigenen Staatsangehörigen ausgeht, keine Zwangsmassnahmen oder andere tatsächliche und effektive Massnahmen zur Bekämpfung dieses Verhaltens ergriffen werden (<ref-ruling> E. 4.3.1 S. 29; <ref-ruling> E. 3.4.1 S. 182 f.; <ref-ruling> E. 7.2 S. 222; je mit Hinweis auf das Urteil des EuGH vom 18. Mai 1982 C-115/81 und 116/81 Adoui und Cornuaille, Slg. 1982 S. 1665 Randnr. 8).
3.4. Vorausgesetzt ist schliesslich, dass die Verweigerung des Aufenthaltsrechts angemessen ist (Art. 96 AuG; <ref-ruling> E. 2.3.1 S. 33 f., 16 E. 2.2.1 S. 19 f.; Urteil 2C_1170/2012 vom 24. Mai 2013 E. 3.2). Entscheidend ist demnach eine Verhältnismässigkeitsprüfung, die gestützt auf die gesamten Umstände des Einzelfalls vorzunehmen ist (<ref-ruling> E. 3.3.4 S. 182). Dabei ist den Vorgaben von Art. 8 EMRK Rechnung zu tragen (vgl. hierzu <ref-ruling> E. 2.2 S. 148 mit Hinweisen). Auch im Rahmen von Art. 5 Anhang I FZA sind bei Massnahmen aus Gründen der öffentlichen Ordnung die Vorgaben der EMRK sowie der Grundsatz der Verhältnismässigkeit zu wahren (<ref-ruling> E. 3.3 S. 358; <ref-ruling> E. 3.4.2 S. 184).
4.
4.1. Der Beschwerdeführer ist seit 1998 in Österreich mehrfach wegen (qualifizierten) Betrugs verurteilt worden (vgl. oben Sachverhalt/A.). Die ausgesprochenen Freiheitsstrafen überstiegen jeweils die Dauer von einem Jahr und haben deshalb grundsätzlich als längerfristig im Sinne der Rechtsprechung zu gelten. Die Vorinstanz weist an sich zu Recht darauf hin, dass der strafrechtliche Betrugstatbestand nach österreichischem Recht im Unterschied zum schweizerischen Recht (Art. 146 StGB [SR 311.0]) keine Arglist voraussetzt (vgl. § 146 des österreichischen Strafgesetzbuches). Dies lässt vorliegend die Strafurteile aus den Jahren 2001 und 2007 als eigenständige Erlöschens- bzw. Widerrufsgründe jedoch nicht ausser Betracht fallen. Abgesehen davon, dass es der Beschwerdeführer ungeachtet der ihm obliegenden Mitwirkungspflicht (vgl. sinngemäss Urteil 2C_694/2013 vom 26. März 2014 E. 4.2) unterlassen hat, seine These betreffend fehlende Arglist im kantonalen Verfahren substantiiert darzutun, lassen sich den Akten keine entsprechenden Anhaltspunkte entnehmen. Aus dem österreichischen Strafregisterauszug ergibt sich dagegen, dass der Beschwerdeführer unter anderem wegen schweren Betruges verurteilt wurde, wobei in beiden Fällen besondere Täuschungsmodalitäten vorlagen (§ 147 Abs. 1 Ziff. 1 des österreichischen Strafgesetzbuches). Diesfalls dürfte auch nach Schweizer Recht in der Regel Arglist vorliegen (vgl. zu diesem Tatbestandselement <ref-ruling> E. 5.2 S. 79 ff.; <ref-ruling> E. 2e S. 173; <ref-ruling> E. 3 S. 34 ff.). Dass der österreichische Betrugstatbestand das Arglistelement nicht enthält, ist somit nicht entscheidend, ist doch der der österreichischen Betrugsverurteilung zugrunde liegende Tatbestand jedenfalls in der qualifizierten Form, wie dies hier der Fall ist, mit dem schweizerischen Betrugstatbestand vergleichbar. Die beiden strafrechtlichen Verurteilungen aus den Jahren 2001 und 2007 zu je dreieinhalb Jahren Freiheitsstrafe stellen somit einen Erlöschens- bzw. Widerrufsgrund nach Art. 62 lit. b AuG dar.
4.2. Angesichts der Häufung der Delikte über einen sehr langen Zeitraum bei immer schwereren Verurteilungen ohne Rücksicht auf die erfolgten Sanktionen und Warnungen ist das Verschulden des Beschwerdeführers als erheblich und seine Geringschätzung der öffentlichen Ordnung als schwerwiegend einzustufen, weshalb auch der Erlöschens- bzw. Widerrufsgrund nach Art. 63 Abs. 1 lit. b AuG gegeben ist.
4.3. Wie dargelegt, wurde der Beschwerdeführer in den Jahren zwischen 1978 und 2007 wegen einer Vielzahl von gleich oder ähnlich gelagerten Delikten insgesamt 19-mal verurteilt. Die Verurteilungen bzw. die Strafverbüssungen vermochten den Beschwerdeführer nicht von der Begehung weiterer Straftaten abzuhalten. Dass es seit dem Urteil vom 5. Februar 2007 zu keiner weiteren Verurteilung mehr kam, vermag noch keine günstige Legalprognose zu begründen, befand sich der Beschwerdeführer doch vom 24. November 2006 bis am 9. März 2012 im Strafvollzug in Österreich. Weder die Entlassung aus dem Strafvollzug noch das Auslaufen der Einreisesperre lassen sodann den Schluss zu, es gehe keine Gefahr (im ausländerrechtlichen Sinne) mehr vom Beschwerdeführer aus, selbst wenn er sich im Strafvollzug klaglos verhalten und positiv entwickelt haben sollte (vgl. <ref-ruling> E. 5.2.2 S. 237; Urteil 2C_839/2011 vom 28. Februar 2012 E. 3.2). Zwar will sich der Beschwerdeführer geessert haben, die entsprechenden Erklärungen sind aber insofern zu relativieren, als er bei der Einreise in die Schweiz die damals geltende Einreisesperre missachtete und im ausländerrechtlichen Verfahren zunächst versuchte, die verhängten Strafen zu unterschlagen. Unter diesen Umständen kann trotz der familiären Verhältnisse und der Erwerbstätigkeit noch nicht von einer nachhaltigen Bewährung die Rede sein. Unbesehen von generalpräventiven Überlegungen führt somit eine individuelle Risikobeurteilung zum Schluss, dass weiterhin eine tatsächliche, gegenwärtige und hinreichend schwere Gefahr vorliegt und die Verweigerung des Aufenthaltsrechts nach den Vorgaben von Art. 5 Anhang I FZA gerechtfertigt ist.
4.4. Die privaten Interessen hat die Vorinstanz angemessen berücksichtigt. Massgeblich ins Gewicht fällt, dass die Schweizer Ehefrau des Beschwerdeführers bereits zum Zeitpunkt der Eheschliessung damit rechnen musste, die eheliche Beziehung nicht in der Schweiz leben zu können (vgl. <ref-ruling> E. 3.6 S. 153 [e contrario], 31 E. 3.2 S. 37). Im Übrigen bleibt unerfindlich, weshalb der Ehefrau aufgrund des Alters und der gesundheitlichen Probleme eine Übersiedlung nach Österreich nicht zumutbar sein soll. Weitere gewichtige Gründe für einen Verbleib des Beschwerdeführers in der Schweiz sind nicht ersichtlich. Er ist in Österreich geboren und aufgewachsen, verbrachte dort den grössten Teil seines Lebens und reiste im Jahr 2012 im Alter von 55 Jahren (erneut) in die Schweiz ein.
5.
5.1. Aufgrund des Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen.
5.2. Dem Verfahrensausgang entsprechend wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Zürich, der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. August 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs