Erwägungen:
1. 1.1 Der kosovarische Staatsangehörige X._ (geb. 1979) reiste im Jahr 2006 in die Schweiz ein und heiratete am 11. August 2006 die Schweizer Bürgerin Y._ (geb. 1983). Das Migrationsamt des Kantons Zürich erteilte ihm darauf eine Aufenthaltsbewilligung, die letztmals bis zum 10. August 2010 verlängert wurde.
1.2 Die Ehegatten lebten zunächst in einer Einzimmerwohnung in Zürich, wo sich Y._ indessen nur zeitweise aufhielt. Am 1. April 2007 zog X._ in eine grössere Wohnung; die Ehefrau hielt sich jedoch auch in dieser Wohnung nicht regelmässig auf. Y._ wurde im Juli 2007 verhaftet, in Untersuchungshaft genommen und später in den vorzeitigen Strafvollzug versetzt. Vom 20. Dezember 2007 bis zu ihrer Entlassung am 23. Januar 2009 befand sie sich im Strafvollzug. Nach ihrer Entlassung wurde die Ehegemeinschaft nicht mehr aufgenommen. Am 12. August 2009 stellte Y._ ein Scheidungsbegehren und am 21. Mai 2010 wurde die Ehe geschieden.
1.3 Mit Verfügung vom 21. September 2010 wies das Migrationsamt ein Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung ab und setzte ihm Frist zum Verlassen der Schweiz bis zum 30. November 2010. Hiergegen rekurrierte X._ erfolglos bei der Sicherheitsdirektion des Kantons Zürich. Eine beim Verwaltungsgericht des Kantons Zürich erhobene Beschwerde wies dieses mit Urteil vom 21. Oktober 2011 ab.
1.4 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 1. Dezember 2011 beantragt X._ die Aufhebung des Urteils des Verwaltungsgerichts des Kantons Zürich sowie die Verlängerung seiner Aufenthaltsbewilligung, eventualiter die Zurückweisung der Sache an die Vorinstanz zur erneuten Entscheidung.
Mit Verfügung vom 7. Dezember 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Auf die Anordnung eines Schriftenwechsels wurde verzichtet.
2. Die von X._ beim Bundesgericht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung und Verweis auf die vorinstanzlichen Erwägungen abzuweisen ist.
2.1 Nicht durchzudringen vermag vorab die Rüge, die Vorinstanz habe den Anspruch auf rechtliches Gehör verletzt, indem sie die Ehefrau bzw. den Beschwerdeführer nicht (noch einmal) befragt habe. Zwar umfasst der in <ref-law> gewährleistete Anspruch auf rechtliches Gehör u.a. auch das Recht der Betroffenen, mit erheblichen Beweisanträgen gehört zu werden (<ref-ruling> E. 5.1 S. 293 mit Hinweisen). Jedoch ist dieser Anspruch nicht verletzt, wenn ein Gericht deshalb auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener (antizipierter) Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3 S. 148 mit Hinweisen). Diese Voraussetzungen waren vorliegend ohne Weiteres erfüllt: Die Aussagen der Ehefrau sowie des Beschwerdeführers liegen den Akten bei. Die Ehefrau hat denn auch wiederholt und übereinstimmend über die Umstände der Ehegemeinschaft ausgesagt. Der Beschwerdeführer hatte zudem genügend Gelegenheit, sich zu äussern und allenfalls weitere geeignete Belege einzureichen, um seinen Standpunkt darzulegen.
2.2 Soweit der Beschwerdeführer sodann wiederholt auf Ausführungen und Akten vor den Vorinstanzen verweist (vgl. Beschwerdeschrift Ziff. 19 und 28), tritt das Bundesgericht praxisgemäss nicht darauf ein. Die erhobenen Rügen müssen in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 399 f. mit Hinweisen).
2.3 Der ausländische Ehegatte eines Schweizers oder einer Schweizerin hat nach Auflösung der Ehe oder der Familiengemeinschaft dann weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a in Verbindung mit Art. 42 AuG) oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG, ebenfalls in Verbindung mit Art. 42 AuG). Für die Anwendbarkeit von Art. 50 Abs. 1 lit. a AuG ist nach der bundesgerichtlichen Rechtsprechung bei der Berechnung des erforderlichen Bestandes der Ehegemeinschaft während drei Jahren nur die Zeit bis zur Aufgabe der Haushaltsgemeinschaft und nicht die Dauer der formellen Gültigkeit der Ehe massgebend (Urteile 2C_682/2010 vom 17. Januar 2011 E. 3.1; 2C_544/2010 vom 23. Dezember 2010 E. 2.2; 2C_711/2009 vom 30. April 2010 E. 2.3.1, mit Hinweisen). Das gilt jedenfalls so lange, als nicht im Sinne von Art. 49 AuG ein wichtiger Grund für eine Ausnahme vom Erfordernis des Zusammenwohnens gegeben ist.
2.4 Die Vorinstanz ist zwar davon ausgegangen, dass für die Zeit des Gefängnisaufenthalts von einem wichtigen Grund für getrennte Wohnorte im Sinne von Art. 49 AuG auszugehen sei. Hingegen verneinte sie das Vorliegen von mit der Drogensucht der Ehefrau zusammenhängenden wichtigen Gründen, die das Getrenntleben rechtfertigen könnten (vgl. angefochtener Entscheid E. 3.6.3). Unter Würdigung sämtlicher Umstände schloss die Vorinstanz, dass die Ehegemeinschaft während des Gefängnisaufenthalts der Ehefrau nicht mehr weiterbestanden habe (vgl. angefochtener Entscheid E. 3.6.4). Zudem sei die Ehegemeinschaft nach der Entlassung der Ehefrau nicht mehr aufgenommen worden (vgl. angefochtener Entscheid E. 3.6.5). Mangels dreijähriger Ehegemeinschaft bestehe daher kein Anspruch auf Verlängerung der Aufenthaltsbewilligung (angefochtener Entscheid E. 3.7).
2.5 Was der Beschwerdeführer hiergegen einwendet, ist nicht geeignet, die für das Bundesgericht grundsätzlich verbindliche Sachverhaltsfeststellung der Vorinstanz (vgl. <ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 254 f.) bzw. deren Beweiswürdigung als offensichtlich unhaltbar erscheinen zu lassen (vgl. <ref-ruling> E. 4.2.1 S. 362): Soweit der Beschwerdeführer ausführt, auch während der Zeit des Nicht-Zusammenwohnens habe der Wille bestanden, die Familiengemeinschaft weiterhin aufrecht zu erhalten, kann dem mit Blick auf die zahlreichen, von den Vorinstanzen angeführten plausiblen Indizien nicht gefolgt werden. So ist etwa aktenkundig, dass der Beschwerdeführer seine Ehefrau während des über 13 Monate dauernden Aufenthalts in der Strafanstalt Hindelbank nur dreimal besuchte. Zudem schrieb er ihr - offenbar mangels genügender Deutschkenntnisse - keinen einzigen Brief (vgl. angefochtener Entscheid E. 3.6.4). Soweit der Beschwerdeführer sodann neu - gestützt auf diverse Schreiben seiner Ehegattin, die "er in seinen Unterlagen noch gefunden hat" - vorbringt, der Ehewille zwischen den Ehegatten habe auch während der Haft weiter bestanden, handelt es sich um ein unzulässiges Novum (<ref-law>).
2.6 Schliesslich ist der Vorinstanz zuzustimmen, wenn sie ausführt, dass die Ehegemeinschaft selbst unter Hinzurechnung der Dauer des Gefängnisaufenthalts der Ehefrau weniger als drei Jahre bestanden habe, da die Ehegemeinschaft nach der Entlassung am 23. Januar 2009 offensichtlich nicht mehr aufgenommen worden ist (vgl. angefochtener Entscheid E. 3.6.5). Dass die Ehe formell noch weiter Bestand hatte, ist in diesem Zusammenhang nicht von Bedeutung (<ref-ruling> E. 3.2 S. 117). Daraus folgt, dass - rückblickend betrachtet - spätestens nach der Nichtwiederaufnahme des Zusammenwohnens am 23. Januar 2009 vom definitiven Scheitern der Ehe des Beschwerdeführers auszugehen war. Daran vermögen die von Beschwerdeführer vorgebrachten Gründe (Drogensucht und angebliche, nicht näher belegte Schizophrenie der Ehefrau) nichts zu seinen Gunsten zu ändern. Diesbezüglich liegt auch keine offensichtlich unrichtige Feststellung des Sachverhalts durch die Vorinstanz vor.
Bei dieser Sachlage kann die Frage offen bleiben, ob der Beschwerdeführer erfolgreich integriert ist (Art. 50 Abs. 1 lit. a zweiter Halbsatz AuG).
2.7 Daraus ergibt sich, dass der Beschwerdeführer mangels dreijähriger Ehegemeinschaft keinen Anspruch auf Verlängerung der Aufenthaltsbewilligung gestützt auf Art. 50 Abs. 1 lit. a AuG geltend machen kann. Wichtige persönliche Gründe, die seinen Aufenthalt in der Schweiz im Sinne von Art. 50 Abs. 1 lit. b AuG erforderlich machen würden, macht der Beschwerdeführer nicht geltend und sind im Übrigen auch nicht ersichtlich.
Der angefochtene Entscheid verstösst damit nicht gegen Bundesrecht.
3. 3.1 Die Beschwerde erweist sich somit als offensichtlich unbegründet und ist im vereinfachten Verfahren nach <ref-law> abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ergebnis besteht auch kein Anlass, dem Eventualantrag (Rückweisung der Sache an die Vorinstanz zur Neubeurteilung) stattzugeben.
3.2 Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 65 und 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 20. Februar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger