Sachverhalt: A. Der türkische Staatsangehörige X._ (geb. 1986) reiste Anfang April 2006 illegal in die Schweiz ein, weshalb ihn die Staatsanwaltschaft Zürich-Sihl zu einer bedingten Gefängnisstrafe von 60 Tagen verurteilte. Ein am 12. April 2006 gestelltes Asylgesuch blieb erfolglos (vgl. Urteil des Bundesverwaltungsgerichts vom 11. Dezember 2007). Am 14. September 2006 heiratete X._ in Zürich die türkische Staatsangehörige Y._ (geb. 1988), welche im Besitz einer Niederlassungsbewilligung war. X._ erhielt eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau, welche letztmals bis zum 13. September 2008 verlängert wurde. Am Abend des 20. Juli 2008 wurde Y._ in Zürich von ihrem Schwager, dem damaligen Ehemann ihrer Schwester, niedergestochen und erlag am 21. Juli 2008 ihren Verletzungen. Die Ehe von Y._ und X._ war kinderlos geblieben. B. Das Migrationsamt des Kantons Zürich (nachfolgend: Migrationsamt) wies das Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung am 17. April 2009 ab und wies X._ aus der Schweiz weg. Den dagegen erhobenen Rekurs wies der Regierungsrat des Kantons Zürich am 6. September 2011 ab. Das Verwaltungsgericht des Kantons Zürich (nachfolgend: Verwaltungsgericht) bestätigte diesen Entscheid auf Beschwerde hin mit Urteil vom 14. März 2012. C. X._ führt Beschwerde beim Bundesgericht mit den Anträgen, das angefochtene Urteil sei aufzuheben und ihm sei die Aufenthaltsbewilligung zu verlängern; eventualiter sei die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Regierungsrat schliesst auf Abweisung, das Bundesamt für Migration auf Gutheissung der Beschwerde. Das Migrationsamt lässt sich nicht vernehmen. Der Beschwerdeführer nimmt mit Bemerkungen vom 1. September 2012 Stellung und reicht das Urteil des Bezirksgerichts Zürich vom 11. Mai 2011 in Sachen Staatsanwaltschaft See/Oberland gegen Z._ betreffend vorsätzliche Tötung etc. sowie die Präsidialverfügung des Obergerichts des Kantons Zürich vom 4. August 2011 ein. D. Mit Präsidialverfügung vom 30. April 2012 ist der Beschwerde antragsgemäss aufschiebende Wirkung erteilt worden.