Sachverhalt: A. Der aus Mazedonien stammende X._ (geb. 1972) zeugte während der Ehe mit seiner Landsfrau Y._ drei Kinder. Am 13. April 2005 wurde diese Ehe geschieden. X._ erhielt das alleinige Sorgerecht über die drei Kinder zugesprochen. Wenige Tage später, am 26. April 2005, heiratete er die um 26 Jahre ältere Z._, welche das Schweizer Bürgerrecht besitzt. Am 21. August 2005 reiste er in die Schweiz ein, wo er im Rahmen des Familiennachzugs eine Aufenthaltsbewilligung erhielt. Diese wurde mehrfach verlängert, zuletzt bis zum 20. August 2008. Am 19. November 2005 hatte ihm seine frühere Ehefrau ein viertes Kind geboren. Alle Kinder leben in Mazedonien. B. Nachdem die Stadtpolizei Winterthur im Auftrag (vom 18. März 2008) der Einwohnerkontrolle die Wohnsituation der Eheleute X._ und Z._ abgeklärt (Bericht vom 16. Juni 2008) und das Ehepaar im Auftrag des kantonalen Migrationsamtes zur Ehe befragt hatte, gewährte das Amt X._ zur beabsichtigten Nichtverlängerung der Aufenthaltsbewilligung das rechtliche Gehör und wies dessen gegenteiliges Gesuch mit Verfügung vom 9. September 2010 anschliessend ab. Zur Begründung führte das Amt im Wesentlichen aus, X._ und Z._ hätten nie die Absicht gehabt, eine wirkliche Ehe zu führen. Der gegen diese Verfügung erhobene Rekurs bei der Sicherheitsdirektion des Kantons Zürich blieb erfolglos, und mit Urteil vom 15. Dezember 2011 wies das Verwaltungsgericht des Kantons Zürich die gegen den Direktionsentscheid vom 12. Oktober 2010 erhobene Beschwerde ebenfalls ab, soweit es darauf eintrat. Auf die von X._ verlangte Anhörung der Ehefrau bzw. deren Sohnes aus erster Ehe hatte es verzichtet, ebenso auf die geforderte Einholung eines Amtsberichts bei der Einwohnerkontrolle Winterthur zur Frage, unter welchen Umständen und aus welchen Gründen es zum Abklärungsauftrag vom 18. März 2008 an die Stadtpolizei Winterthur gekommen sei. C. Mit Eingabe vom 19. Januar 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das Urteil des Verwaltungsgerichts vom 15. Dezember 2011 aufzuheben und ihm - dem Beschwerdeführer - die Aufenthaltsbewilligung zu verlängern; sodann sei das Verfahren an die Vorinstanz zurückzuweisen und diese einzuladen, den verfahrensrechtlichen Anträgen (betreffend Befragung der Ehefrau bzw. des Sohnes und betreffend Einholen eines Amtsberichts) stattzugeben. Die Sicherheitsdirektion des Kantons Zürich beantragt, die Beschwerde abzuweisen. Das Verwaltungsgericht verzichtet auf Vernehmlassung. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. X._ hat von der Möglichkeit, sich nochmals zu äussern, keinen Gebrauch gemacht.