Sachverhalt:
A. Der aus dem Kosovo stammende X._, geb. 1964, reiste erstmals im Jahr 1998 als Asylbewerber in die Schweiz ein. Nach der Ablehnung seines Gesuchs hatten die Behörden keine Kenntnis davon, wo er sich zwischen Juli 2000 und September 2004 aufhielt. Nachdem er am 14. September 2004 im Kosovo die Schweizerin A._, geb. 1957, geheiratet hatte, reiste er im November 2004 erneut in die Schweiz ein, wo er eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erhielt.
Am 19. Mai 2005 nahm der Einzelrichter am Bezirksgericht Bülach davon Vormerk, dass die Eheleute X._ und A._ getrennt lebten. Vom Oktober 2007 bis zum Oktober 2008 lebten die Ehegatten wieder zusammen, seither aber wieder getrennt voneinander.
Mit Verfügung vom 18. Februar 2009 verweigerte das Migrationsamt der Sicherheitsdirektion des Kantons Zürich die Verlängerung der Aufenthaltsbewilligung von X._.
B. Am 8. Juni 2010 wies der Regierungsrat des Kantons Zürich einen dagegen erhobenen Rekurs ab. Mit Urteil vom 8. Dezember 2010 wies das Verwaltungsgericht des Kantons Zürich, 2. Kammer, eine dagegen gerichtete Beschwerde ebenfalls ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 9. Februar 2011 an das Bundesgericht beantragt X._, die Entscheide des Verwaltungsgerichts, des Regierungsrates sowie der Sicherheitsdirektion aufzuheben und die Sicherheitsdirektion anzuweisen, ihm die Aufenthaltsbewilligung zu erteilen bzw. zu verlängern. Eventuell sei die Sache zu neuem Entscheid an das Verwaltungsgericht zurückzuweisen. In prozessualer Hinsicht wurde um Erteilung der aufschiebenden Wirkung ersucht.
D. Die Sicherheitsdirektion und der Regierungsrat haben innert Frist keine Stellungnahme eingereicht. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vernehmlassung des Bundesamts für Migration wurde nach Fristablauf bei der Schweizerischen Post aufgegeben.
E. Mit Verfügung vom 14. Februar 2011 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung.

Erwägungen:
1. 1.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Der Beschwerdeführer beruft sich einerseits auf Art. 42 AuG, wonach ihm als Ehegatten einer angeblich weiterhin bestehenden Ehe ein Anspruch auf Aufenthaltsbewilligung zustehen soll, und andererseits auf Art. 50 Abs. 1 AuG, wonach unter bestimmten Voraussetzungen ein solcher Anspruch selbst dann weiter bestünde, wenn die Ehegemeinschaft als solche aufgelöst wäre. Der Beschwerdeführer ist formell noch immer mit einer Schweizerin verheiratet und hat auf dieser Grundlage eine Aufenthaltsbewilligung nach Art. 42 AuG erhalten. Ob die Voraussetzungen von Art. 42 bzw. Art. 50 AuG (weiterhin) erfüllt sind, ist - abgesehen von offensichtlichen Fällen - eine Frage der materiellen Prüfung. Für das Eintreten auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten genügt, dass im Rahmen von Art. 42 ff. AuG potentiell ein Anspruch besteht (vgl. <ref-ruling> E. 1.1 S. 179). Die Beschwerde ist fristgerecht gegen einen kantonal letztinstanzlichen Endentscheid (Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG) eingereicht worden (<ref-law>), und der Beschwerdeführer ist nach <ref-law> zur Beschwerde legitimiert.
1.2 Nicht eingetreten werden kann allerdings auf die Beschwerde, soweit der Beschwerdeführer die Aufhebung auch der unterinstanzlichen Entscheide verlangt. Anfechtbar ist nur das kantonal letztinstanzliche Urteil des Verwaltungsgerichts (sog. Devolutiveffekt; vgl. <ref-law>); der Antrag des Beschwerdeführers auf Aufhebung der Entscheide der Sicherheitsdirektion und des Regierungsrates ist daher unzulässig. Immerhin gelten die Entscheide der unteren Instanzen als inhaltlich mitbestritten (vgl. <ref-ruling> E. 1.4 S. 144; <ref-ruling> E. 1 S. 441).
1.3 Ebenfalls nicht eingetreten werden kann auf die Beschwerde, soweit der Beschwerdeführer das verwaltungsgerichtliche Urteil insofern anficht, als es subsidiär die Rechtmässigkeit prüft, ihm allenfalls selbst ohne Anspruch eine Aufenthaltsbewilligung im behördlichen Ermessen zu verweigern. Für solche Ermessensbewilligungen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht gerade nicht offen (<ref-law>). Überdies fehlt es dem Beschwerdeführer für die Erhebung einer subsidiären Verfassungsbeschwerde nach <ref-law> gegen die Bewilligungsverweigerung als solche am erforderlichen rechtlich geschützten Interesse gemäss <ref-law>. Die Verletzung von Parteirechten, deren Missachtung auf eine formelle Rechtsverweigerung hinauslaufen würde, für welche die subsidiäre Verfassungsbeschwerde allenfalls zulässig wäre, wird nicht geltend gemacht (vgl. <ref-ruling>).
1.4 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). In der Begründung muss allerdings in gedrängter Form dargelegt werden, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Insbesondere wird die Verletzung von Grundrechten vom Bundesgericht nur geprüft, wenn in der Beschwerde eine entsprechende Rüge vorgebracht und begründet wird (<ref-law>).
1.5 Als verspätet aus dem Recht zu weisen ist die Vernehmlassung des Bundesamts für Migration.
2. 2.1 Im bundesgerichtlichen Verfahren dürfen neue Tatsachen und Beweisgründe nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die vom Beschwerdeführer nachträglich eingereichten Unterlagen und anerbotenen Beweismittel sind daher als unzulässige echte Noven unbeachtlich. Der Beschwerdeführer hätte bereits vor den Vorinstanzen Anlass und auch die Gelegenheit gehabt, die nunmehr nachgereichten schriftlichen Bestätigungen einzuholen und diejenigen Beweismittel für den Gesundheitszustand seiner Ehefrau bzw. für dessen Auswirkungen auf die eheliche Beziehung beizubringen, auf die er sich nunmehr neu beruft.
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie ihn die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, wenn er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>). Der Betroffene muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt klar und eindeutig mangelhaft erscheint (Art. 42 Abs. 2 und <ref-law>; vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4). Auf rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.). Der Beschwerdeführer hat in Auseinandersetzung mit der Begründung im angefochtenen Entscheid im Einzelnen darzutun, inwiefern die Sachverhaltsfeststellung oder die Beweiswürdigung offensichtlich unhaltbar und damit willkürlich ist.
2.3 Der Beschwerdeführer behauptet zwar, die Vorinstanz habe den rechtserheblichen Sachverhalt unrichtig und unvollständig festgestellt, er führt indessen nicht aus, inwiefern dies offensichtlich der Fall sein soll. Er beschränkt sich im Wesentlichen darauf, seine Sicht der Dinge zu wiederholen. Im Übrigen ist auch nicht ersichtlich, dass die tatsächlichen Feststellungen des Verwaltungsgerichts offenkundig falsch oder lückenhaft wären. Dieses stellte auf die ihm vorliegenden Unterlagen ab. Wenn der Beschwerdeführer diese nunmehr als ungenügend erachtet, so wäre es zu allererst an ihm selbst gelegen, seine Behauptungen zu belegen, trifft ihn doch insofern eine gewisse Mitwirkungspflicht (vgl. Art. 90 Abs. 2 AuG). Zu Recht bemängelte die Vorinstanz insbesondere, dass der Beschwerdeführer keine Arzt- oder sonstigen Fachberichte zur Behauptung vorgelegt hatte, es sei der Ehefrau aufgrund ihres an sich unbestrittenen prekären Gesundheitszustandes - und nicht wegen der gescheiterten Beziehung - nicht mehr möglich gewesen, mit dem Beschwerdeführer zusammenzuwohnen. Etwas fragwürdig ist einzig, dass das Verwaltungsgericht an der Echtheit des Schreibens der Ehefrau vom 10. Juli 2010 zweifelte, ohne dass dies umfassender abgeklärt worden zu sein scheint. Das führt aber nicht dazu, die tatsächlichen Feststellungen insgesamt als offensichtlich unrichtig oder unvollständig zu beurteilen, erscheinen die vorhandenen Unterlagen doch durchaus als umfassend genug und geeignet, um die Feststellungen der Vorinstanz zu untermauern.
3. 3.1 Gemäss Art. 42 Abs. 1 AuG haben unter anderem ausländische Ehegatten von Schweizerinnen und Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Nach Art. 51 Abs. 1 lit. a AuG erlöschen die Ansprüche gemäss Art. 42 AuG, wenn sie rechtsmissbräuchlich geltend gemacht werden. Nach gefestigter bundesgerichtlicher Rechtsprechung liegt Rechtsmissbrauch unter anderem dann vor, wenn der Ausländer sich im fremdenpolizeilichen Verfahren auf eine Ehe beruft, die nur (noch) formell besteht oder aufrecht erhalten wird, mit dem alleinigen Ziel, ihm eine Anwesenheitsberechtigung zu ermöglichen (vgl. <ref-ruling>; <ref-ruling> E. 4.2 S. 267; <ref-ruling> E. 4.2 S. 117, je mit Hinweisen). Dass die Ehe nur noch formell und ohne Aussicht auf Wiederaufnahme einer ehelichen Gemeinschaft besteht, entzieht sich in der Regel dem direkten Beweis und ist bloss durch Indizien zu erstellen (BGE <ref-ruling> E. 10.2 und 10.3 S. 135 f. mit Hinweis). Feststellungen über das Bestehen solcher Indizien können äussere Gegebenheiten, aber auch innere, psychische Vorgänge betreffen (Wille der Ehegatten); es handelt sich so oder anders um tatsächliche Feststellungen, welche für das Bundesgericht grundsätzlich verbindlich sind (oben E. 2.2 und 2.3). Frei zu prüfen ist die Rechtsfrage, ob die festgestellten Tatsachen (Indizien) darauf schliessen lassen, die Berufung auf die Ehe bezwecke die Umgehung fremdenpolizeilicher Vorschriften und sei rechtsmissbräuchlich (<ref-ruling> E. 2.3 S. 152 mit Hinweisen).
3.2 Es ist unbestritten, dass der Beschwerdeführer nicht ständig mit seiner Ehefrau zusammen gelebt hat, wie das Art. 42 Abs. 2 AuG vorschreibt. Er beharrt dennoch darauf, die Ehe sei bis heute intakt geblieben. Ausnahmen vom Erfordernis des ehelichen Zusammenlebens lässt das Gesetz gemäss Art. 49 AuG aber nur zu, wenn das Getrenntleben auf wichtigen Gründen beruht und die Familiengemeinschaft als solche andauert (zum Verhältnis von Art. 42 Abs. 1 und Art. 49 AuG vgl. die Urteile des Bundesgerichts 2C_647/2010 vom 10. Februar 2011 und 2C_781/2010 vom 16. Februar 2010). Wichtige Gründe müssen objektivierbar sein und eine gewisse Erheblichkeit aufweisen (vgl. das Urteil des Bundesgerichts 2C_544/2010 vom 23. Dezember 2010 E. 2.3.1). Dabei erscheint es nicht von vornherein ausgeschlossen, dass solche wichtigen Gründe gesundheitlicher Natur sein könnten. Es gibt aber keine Hinweise und keine fachlichen Belege dafür, dass es der Ehefrau des Beschwerdeführers tatsächlich aufgrund ihrer psychischen Erkrankung verunmöglicht war, mit diesem zusammenzuwohnen. Die Ehefrau lebte während der Trennung und offenbar auch heute wieder bzw. immer noch nicht in einer Klinik oder in einem ähnlichen betreuten Rahmen, sondern allein in einer Wohnung. Am Anfang der ersten Trennung stand überdies eine entsprechende richterliche Anordnung, die möglicherweise auch aus finanziellen Erwägungen angestrebt wurde, wie heute geltend gemacht wird, aber doch indiziert, dass eine gütliche Lösung zumindest schwierig, wenn nicht sogar ausgeschlossen war. Zwar trifft es zu, dass die Eheleute zwischendurch während rund eines Jahres wieder zusammenlebten; auch dieser zweiten Ehephase war aber auf Dauer kein Erfolg beschieden. Die Ehefrau hat sich zudem wiederholt dahingehend geäussert, es bestünde keine eheliche, sondern nur noch eine freundschaftliche Beziehung zum Beschwerdeführer. Im Übrigen fällt auf, dass sie am vorliegenden Verfahren nicht selbst mitwirkte, wie es von einer Ehefrau zu erwarten wäre, die weiterhin mit ihrem Mann zusammen sein möchte. Insgesamt ist die Einschätzung der Vorinstanz daher nicht zu beanstanden, es bestünde wenigstens auf Seiten der Ehefrau keine Ehewille mehr, weshalb die Ehe als definitiv gescheitert zu gelten habe. Weder ist ein wichtiger Grund für das Getrenntleben nachgewiesen, noch ist davon auszugehen, dass die Ehegemeinschaft trotz zweimaliger Trennung weiter bestand und immer noch besteht. Damit entfällt ein Anspruch auf Bewilligungsverlängerung gestützt auf Art. 42 in Verbindung mit Art. 49 AuG mangels Zusammenlebens bzw. gemäss Art. 51 Abs. 1 lit. a AuG wegen rechtsmissbräuchlichen Festhaltens an der formellen Ehe.
3.3 Ist die Ehegemeinschaft nicht mehr intakt, kann sich der Beschwerdeführer auch nicht auf Art. 8 EMRK bzw. <ref-law> berufen.
4. 4.1 Nach Art. 50 Abs. 1 AuG besteht unter anderem der Anspruch des Ehegatten auf Erteilung und Verlängerung der Aufenthaltsbewilligung gemäss Art. 42 AuG weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration vorliegt (lit. a) oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (lit. b). Der Beschwerdeführer beruft sich subsidiär auf Art. 50 Abs. 1 lit. a AuG. Er macht geltend, dass selbst dann, wenn heute von einer gescheiterten Ehe ausgegangen werde, die Ehegemeinschaft doch länger als drei Jahre gedauert habe und er in der Schweiz gut integriert sei, weshalb ihm die Bewilligung verlängert werden müsse.
4.2 Für die Berechnung der Jahresfrist ist vor allem auf die Dauer der nach aussen wahrnehmbaren ehelichen Wohngemeinschaft abzustellen (Urteil des Bundesgerichts 2C_544/2010 vom 23. Dezember 2010 E. 2.2). Der Beschwerdeführer lebte in zwei Phasen insgesamt knapp anderthalb Jahre mit seiner Ehefrau zusammen, nämlich ein erstes Mal vom November 2004 bis zum Mai 2005 und ein zweites Mal vom Oktober 2007 bis zum Oktober 2008. Selbst wenn die beiden Phasen zusammen gezählt werden, kommt er damit nicht auf die erforderlichen drei Jahre Ehegemeinschaft. Diese Dauer erreicht er nur, wenn die dazwischen liegende, rund zweieinhalbjährige Phase des Getrenntlebens oder allenfalls die spätere zweite mitberücksichtigt wird. Das würde aber die Massgeblichkeit des Getrenntlebens nach Art. 49 AuG erfordern. Wie bereits dargelegt, erfüllt weder die erste noch die zweite Aufhebung der Lebensgemeinschaft des Beschwerdeführers die Anforderungen von Art. 49 AuG. Damit entfällt unabhängig vom Erfolg oder Grad seiner Integration auch ein Anspruch gestützt auf Art. 50 Abs. 1 lit. a AuG. Dass die Voraussetzungen von Art. 50 Abs. 1 lit. b AuG vorlägen, wird nicht geltend gemacht, weshalb darauf nicht einzugehen ist.
4.3 Steht dem Beschwerdeführer kein Anspruch auf Aufenthaltsbewilligung mehr zu, verstösst der angefochtene Entscheid nicht gegen Bundesrecht.
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat sowie dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 15. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax