Sachverhalt: A. Der österreichische Staatsangehörige A._ (geb. 1957) wurde am 16. April 2006 in der Schweiz verhaftet und am 24. November 2006 nach Österreich ausgeliefert. In den Jahren zuvor hatte er sich den österreichischen Strafverfolgungsbehörden entzogen und jahrelang unter einem Alias-Namen bei der Schweizerin B._ (geb. 1950) gelebt, wobei er im Sommer 2005 die Identität deren verstorbenen Lebenspartners angenommen hatte. Am 26. September 2006 heiratete er B._. A._ erwirkte in Österreich, Deutschland und der Schweiz in den Jahren 1976 bis 2007 19 Verurteilungen zu Geld- und Freiheitsstrafen, hauptsächlich wegen Vermögensdelikten, wobei sich die Freiheitsstrafen auf insgesamt rund 25 Jahre belaufen. Seit 1998 erfolgten folgende strafrechtlichen Verurteilungen: - Am 5. März 1998 wurde A._ vom Landesgericht Salzburg wegen gewerbsmässigen schweren Betrugs und Diebstahls zu einer Freiheitsstrafe von einem Jahr verurteilt. - Am 14. Oktober 1998 verurteilte ihn das Landesgericht Klagenfurt wegen gewerbsmässigen schweren Betrugs und Diebstahls zu einer 18-monatigen Freiheitsstrafe. - Am 27. April 2001 erging eine Verurteilung des Landesgerichts Salzburg zu einer Freiheitsstrafe von dreieinhalb Jahren wegen versuchten gewerbsmässigen schweren Betrugs. - In der Schweiz erfolgte am 12. Juli 2006 eine Verurteilung zu sechs Monaten Gefängnis wegen Zechprellerei, Betrugs, Urkundenfälschung, Veruntreuung, Fälschung von Ausweisen und SVG-Delikten. - Zuletzt verurteilte ihn das Landesgericht Salzburg am 5. Februar 2007 zu einer Freiheitsstrafe von dreieinhalb Jahren - als Zusatzstrafe zur Verurteilung vom 12. Juli 2006 - wegen (versuchten) gewerbsmässigen schweren Betrugs. Vom 24. November 2006 bis 9. März 2012 befand sich A._ im Strafvollzug in Österreich. Das Bundesamt für Migration verfügte am 27. Dezember 2006 eine bis 26. Dezember 2012 gültige Einreisesperre. Nach der Entlassung aus dem Strafvollzug reiste A._ am 23. März 2012 erneut in die Schweiz ein, wo er am 16. April 2012 um Erteilung einer Aufenthaltsbewilligung ersuchte. Einem Gnadengesuch von A._ leistete das österreichische Bundesministerium für Justiz mit Schreiben vom 11. Dezember 2012 keine Folge. B. Am 14. Februar 2013 verweigerte das Migrationsamt das Kantons Zürich die Erteilung einer Aufenthaltsbewilligung für A._ und wies ihn aus der Schweiz weg. Den dagegen erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 10. Juli 2013 ab. Die anschliessende Beschwerde an das Verwaltungsgericht des Kantons Zürich blieb erfolglos. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Januar 2014 beantragt A._, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 4. Dezember aufzuheben und ihm eine Aufenthaltsbewilligung zu erteilen. Das Verwaltungsgericht des Kantons Zürich verzichtet auf Vernehmlassung. Das Bundesamt für Migration beantragt die Abweisung der Beschwerde. Die Vernehmlassung der Sicherheitsdirektion des Kantons Zürich erfolgte verspätet und bleibt daher unberücksichtigt. D. Am 31. Januar 2014 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.