Sachverhalt: A. Der aus dem Kosovo stammende X._, geb. 1964, reiste erstmals im Jahr 1998 als Asylbewerber in die Schweiz ein. Nach der Ablehnung seines Gesuchs hatten die Behörden keine Kenntnis davon, wo er sich zwischen Juli 2000 und September 2004 aufhielt. Nachdem er am 14. September 2004 im Kosovo die Schweizerin A._, geb. 1957, geheiratet hatte, reiste er im November 2004 erneut in die Schweiz ein, wo er eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erhielt. Am 19. Mai 2005 nahm der Einzelrichter am Bezirksgericht Bülach davon Vormerk, dass die Eheleute X._ und A._ getrennt lebten. Vom Oktober 2007 bis zum Oktober 2008 lebten die Ehegatten wieder zusammen, seither aber wieder getrennt voneinander. Mit Verfügung vom 18. Februar 2009 verweigerte das Migrationsamt der Sicherheitsdirektion des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung von X._. B. Am 8. Juni 2010 wies der Regierungsrat des Kantons Zürich einen dagegen erhobenen Rekurs ab. Mit Urteil vom 8. Dezember 2010 wies das Verwaltungsgericht des Kantons Zürich, 2. Kammer, eine dagegen gerichtete Beschwerde ebenfalls ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 9. Februar 2011 an das Bundesgericht beantragt X._, die Entscheide des Verwaltungsgerichts, des Regierungsrates sowie der Sicherheitsdirektion aufzuheben und die Sicherheitsdirektion anzuweisen, ihm die Aufenthaltsbewilligung zu erteilen bzw. zu verlängern. Eventuell sei die Sache zu neuem Entscheid an das Verwaltungsgericht zurückzuweisen. In prozessualer Hinsicht wurde um Erteilung der aufschiebenden Wirkung ersucht. D. Die Sicherheitsdirektion und der Regierungsrat haben innert Frist keine Stellungnahme eingereicht. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vernehmlassung des Bundesamts für Migration wurde nach Fristablauf bei der Schweizerischen Post aufgegeben. E. Mit Verfügung vom 14. Februar 2011 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung.