Sachverhalt:
A. Der kosovarische Staatsangehörige X._ (geb. 1975) reiste am 30. August 2006 in die Schweiz ein und heiratete hier am 25. September 2006 die Schweizer Bürgerin Y._ (geb. 1982). Am 9. November 2006 wurde ihm im Kanton St. Gallen eine Aufenthaltsbewilligung als Ehegatte einer Schweizer Bürgerin erteilt. Am 1. Februar 2007 zog X._ in den Kanton Zürich und nahm Wohnsitz in Dietlikon/ZH. Am 28. Februar 2007 wurde ihm im Kanton Zürich die Aufenthaltsbewilligung erteilt und letztmals bis 24. September 2010 verlängert. Im Juni 2009 gaben die Eheleute X._ und Y._ den Einwohnerdiensten Dietlikon bekannt, ab dem 30. Juni 2009 "freiwillig getrennt" zu leben.
B. Nach Gewährung des rechtlichen Gehörs wies das Migrationsamt des Kantons Zürich mit Verfügung vom 1. Februar 2011 ein Gesuch von X._ um Verlängerung seiner Aufenthaltsbewilligung ab und setzte ihm eine Frist zum Verlassen der Schweiz bis zum 30. April 2011. Die dagegen bei der Sicherheitsdirektion und beim Verwaltungsgericht des Kantons Zürich erhobenen Rechtsmittel blieben erfolglos.
C. Mit Eingabe vom 23. März 2012 erhebt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, das Urteil des Verwaltungsgerichts vom 21. Februar 2012 sei aufzuheben und seine Aufenthaltsbewilligung zu verlängern. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht des Kantons Zürich verzichtet auf eine Vernehmlassung, während die Sicherheitsdirektion des Kantons Zürich sowie das Bundesamt für Migration die Abweisung der Beschwerde beantragen.
Mit Verfügung vom 28. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Da sich der Beschwerdeführer auf eine formell noch bestehende Ehe mit einer Schweizer Bürgerin und somit auf einen grundsätzlichen Bewilligungsanspruch nach Art. 42, 49 bzw. 50 AuG (SR 142.20) und Art. 8 EMRK sowie <ref-law> beruft, ist auf sein rechtzeitig eingereichtes Rechtsmittel einzutreten. Ob ihm die begehrte Bewilligung aufgrund der konkreten Umstände tatsächlich zu erteilen ist, bildet eine Frage der nachfolgenden materiellen Beurteilung (vgl. <ref-ruling> E. 1.2 S. 180 mit Hinweisen).
2. Gemäss Art. 42 Abs. 1 AuG hat der ausländische Ehegatte einer Schweizerin Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie zusammenwohnen. Nach Art. 49 AuG brauchen Eheleute nicht zusammenzuwohnen, wenn für getrennte Wohnorte wichtige Gründe geltend gemacht werden und die Familiengemeinschaft weiter besteht. Nach Auflösung der Ehe oder der Familiengemeinschaft hat der ausländische Ehegatte gemäss Art. 50 Abs. 1 AuG weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung nach Art. 42 AuG, wenn (lit. a) die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht oder (lit. b) wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen. Die Ansprüche nach Art. 42 AuG erlöschen, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um Vorschriften über die Zulassung und den Aufenthalt zu umgehen (Art. 50 Abs. 1 lit. a AuG).
3. 3.1 Der immer noch mit Y._ verheiratete Beschwerdeführer macht eine fehlerhafte Sachverhaltsfeststellung und willkürliche Beweiswürdigung durch die Vorinstanz geltend. Er führt aus, die gesundheitlichen Probleme seiner Ehefrau, welche auf ihren Drogenkonsum zurückzuführen seien, stellten wichtige Gründe für eine Ausnahme vom Erfordernis des Zusammenwohnens im Sinne von Art. 49 AuG dar. Zudem macht er sinngemäss geltend, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, indem sie nicht wie von ihm beantragt seine Schwiegermutter und seine Ehefrau angehört habe. Diese hätten das Vorliegen wichtiger Gründe bestätigen können. Selbst wenn von einem nicht mehr nach Art. 49 AuG gerechtfertigten Getrenntleben auszugehen wäre, habe die Ehegemeinschaft mehr als drei Jahre bestanden. Insoweit seien zumindest die Voraussetzungen des Art. 50 Abs. 1 lit. a AuG erfüllt. Mithin habe er auf jeden Fall einen Anspruch auf weitere Verlängerung seiner Bewilligung nach Art. 42 Abs. 1 AuG.
3.2 Die Vorinstanz hat dagegen festgestellt, bereits kurz nach der Eheschliessung hätten die Eheleute möglicherweise nicht mehr zusammengelebt, was jedoch bestritten werde. Spätestens per 30. Juni 2009 lebten sie jedoch getrennt und dieser Zustand dauere bis heute an. Zunächst sei die Gattin nach Riedt bei Erlen/TG, später nach St. Gallen gezogen. Nachdem der Kanton St. Gallen einem Gesuch um Kantonswechsel des Beschwerdeführers nicht entsprochen habe, sei dieser bei seinem Bruder in Dübendorf/ZH eingezogen (vgl. angefochtener Entscheid E. 3.2). Daraus hat die Vorinstanz den Schluss gezogen, dass eine tatsächlich gelebte Ehegemeinschaft höchstens für den Zeitraum von der Heirat am 25. September 2006 bis zum Wegzug der Ehefrau Ende Juni 2009 bestanden habe. Abgesehen von den Klinikaufenthalten liessen sich keine wichtigen Gründe für das Getrenntleben erblicken (vgl. angefochtener Entscheid E. 3.3).
3.3 Das Bundesgericht wendet das Recht von Amtes wegen an und kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-law>; <ref-ruling> E. 1.4.1 S. 254). Seinem Urteil legt es aber grundsätzlich den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts durch die Vorinstanz kann gemäss <ref-law> nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Verletzung von schweizerischem Recht im Sinne von <ref-law> beruht. Die Rüge der offensichtlich unrichtigen, d.h. willkürlichen Feststellung des Sachverhalts prüft das Bundesgericht gemäss <ref-law> nur insoweit, als sie in der Beschwerde explizit vorgebracht und substantiiert begründet worden ist. In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Die Sachverhaltsfeststellung bzw. Beweiswürdigung ist willkürlich, wenn die Behörde in ihrem Entscheid von Tatsachen ausgeht, die mit der tatsächlichen Situation in klarem Widerspruch stehen oder auf einem offenkundigen Fehler beruhen (vgl. <ref-ruling> E. 1.4.3 S. 254; <ref-ruling> E. 1.3 S. 316; <ref-ruling> E. 4.2.1 S. 362; je mit Hinweisen).
Was der Beschwerdeführer diesbezüglich einwendet, erschöpft sich weitgehend in appellatorischer Kritik am angefochtenen Urteil, die für die Begründung einer willkürlichen Feststellung des Sachverhalts nicht genügt. Er beschränkt sich im Wesentlichen darauf, seine eigene Sichtweise der Verhältnisse darzulegen. In weiten Teilen zitiert er sogar wortwörtlich aus seiner Beschwerdeschrift an die Vorinstanz. Für die Begründung von Willkür im Sinne von <ref-law> genügt es jedoch nicht, dass eine Würdigung der Beweise, wie sie der Beschwerdeführer als richtig ansieht, ebenso in Betracht gezogen werden könnte. Denn Willkür liegt nach ständiger Rechtsprechung nicht schon vor, wenn das angefochtene Urteil nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Lösung oder Würdigung vertretbar erscheint oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid auf einer schlechterdings unhaltbaren oder widersprüchlichen Beweiswürdigung beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (vgl. BGE <ref-ruling> E. 4.2.1 S. 362).
3.4 Aufgrund der willkürfreien Feststellungen der Vorinstanz ist erwiesen, dass die Ehefrau mindestens seit Ende Juni 2009 nicht mehr mit dem Beschwerdeführer zusammengewohnt hat. Weiter durfte die Vorinstanz den Schluss ziehen, dass - abgesehen von den Klinikaufenthalten - keine wichtigen Gründe für ein Getrenntleben im Sinne von Art. 49 AuG vorliegen. Insbesondere der Umstand, dass der Ehegattin offenbar die Nähe zur Mutter und dem Beschwerdeführer die Nähe zum Arbeitgeber wichtiger ist als das Zusammenleben in einer gemeinsamen Wohnung, spricht nicht für das Weiterbestehen der ehelichen Gemeinschaft. Sodann kann den Ausführungen des Beschwerdeführers auch nicht entnommen werden, inwiefern das Getrenntleben der Ehegatten allenfalls medizinisch bedingt sein soll.
3.5 Die Familiennachzugsbestimmungen der Art. 42 Abs. 1, 49 und 51 AuG sind nicht dazu bestimmt, dass jeder Ehepartner auf seiner Seite je für sich unabhängig leben kann bzw. das Getrenntleben ohne wichtigen Grund zum Regelfall wird. Vielmehr sind sie darauf ausgerichtet, dass die Eheleute grundsätzlich zusammenwohnen und die eheliche Gemeinschaft auch tatsächlich anhaltend und nicht bloss sporadisch oder durch Kurzbesuche leben. Insofern hat die Vorinstanz unter Bezugnahme auf die soeben erwähnten Bestimmungen zu Recht die Verlängerung der Aufenthaltsbewilligung verweigert. Die dargestellte Lebensgestaltung der Eheleute stellt keinen wichtigen Grund im Sinne von Art. 49 AuG für das Getrenntleben dar (vgl. auch Urteile 2C_231/2011 vom 21. Juli 2011 E. 4.5; 2C_288/2011 vom 7. April 2011 E. 2.2.2; 2C_573/2010 vom 21. Dezember 2010 E. 3.3).
Dem Dargelegten zufolge durfte die Vorinstanz denn auch in antizipierter Beweiswürdigung von der Einvernahme der vom Beschwerdeführer angebotenen Zeugen (Schwiegermutter bzw. Ehefrau des Beschwerdeführers) absehen. Die Aussagen der Ehefrau sind aktenkundig und in den Entscheid der Vorinstanz eingeflossen. Selbst wenn die Schwiegermutter namentlich bezeugt hätte, sie und der Beschwerdeführer hätten ein gutes Verhältnis und der Beschwerdeführer und seine Ehefrau hätten sich mehrmals gegenseitig besucht, würde dies nichts daran ändern, dass sich Letztere seit Ende Juni 2009 andernorts als der Beschwerdeführer aufhält, ohne dass hiefür wichtige Gründe vorliegen.
3.6 Demzufolge hat die Vorinstanz zu Recht die Verlängerung der Aufenthaltsbewilligung nach Art. 42 in Verbindung mit Art. 49 AuG sowie nach Art. 8 EMRK und <ref-law> verweigert. Der Beschwerdeführer kann auch keine Bewilligung gestützt auf Art. 50 Abs. 1 lit. a AuG verlangen, da die Ehegemeinschaft infolge der spätestens Ende Juni 2009 erfolgten Trennung entgegen seiner Ansicht weniger als drei Jahre bestanden hatte. Im Rahmen dieser Bestimmung kommt es nicht nur auf den formellen Bestand der Ehe von mindestens drei Jahren an. Vielmehr muss - vorbehältlich des hier wie soeben dargelegt nicht gegebenen Anwendungsfalles nach Art. 49 AuG - auch die Haushaltsgemeinschaft mindestens ebenso lange in der Schweiz gelebt worden sein (vgl. <ref-ruling> E. 3.2 und 3.3 S. 116 ff.). Schliesslich sind auch keine wichtigen persönlichen Gründe im Sinne von Art. 50 Abs. 1 lit. b AuG geltend gemacht worden oder ersichtlich.
4. 4.1 Damit ist die Aufenthaltsbewilligung des Beschwerdeführers nicht nach Art. 42, 49 und 50 AuG zu verlängern. Deshalb erweist sich die Beschwerde als unbegründet und ist abzuweisen.
4.2 Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 30. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger