Sachverhalt:
A. Der kosovarische Staatsangehörige X._ (geb. 27. November 1979) reiste im September 1992 zusammen mit seiner Mutter und drei Geschwistern im Rahmen des Familiennachzugs in die Schweiz ein und erhielt eine Niederlassungsbewilligung. Am 20. Juni 2005 wurde seine mit einer Landsfrau eingegangene kinderlose Ehe geschieden.
X._ wurde am 3. Februar 2007 verhaftet und befand sich in der Folge bis zum 29. Januar 2008 in Untersuchungshaft. Am 6. November 2008 verurteilte das Bezirksgericht Hinwil X._ wegen (mehrfachen) Verbrechens gegen das Betäubungsmittelgesetz zu einer teilbedingten Freiheitsstrafe von drei Jahren (12 Monate unbedingt und 24 Monate bedingt). Schuldspruch und Strafmass wurden durch das Obergericht mit Urteil vom 27. Januar 2010 bestätigt; die Probezeit wurde um ein Jahr reduziert.
X._ lebt mit seiner in der Schweiz eingebürgerten Verlobten A._ (geb. 30. Oktober 1989), die er nach der Haftentlassung kennengelernt hat, zusammen und zwar ungefähr seit Mitte 2009 in deren Wohnung bzw. ab 1. Mai 2010 in einer gemeinsam gemieteten Wohnung.
B. Mit Verfügung vom 18. August 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligung von X._ und setzte ihm Frist zum Verlassen der Schweiz bis zum 15. November 2010. Die dagegen von X._ ergriffenen kantonalen Rechtsmittel blieben ohne Erfolg.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 22. August 2011 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 15. Juni 2011 aufzuheben und ihm die Niederlassungsbewilligung zu belassen bzw. den weiteren Aufenthalt in der Schweiz zu gestatten, eventualiter die Angelegenheit zur weiteren Sachverhaltsabklärung, insbesondere zur Befragung der Verlobten des Beschwerdeführers, zurückzuweisen. Weiter stellt er das Begehren, ihm "für die zwei Vorverfahren" eine angemessene Parteientschädigung zuzusprechen.
Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Die Sicherheitsdirektion und das Migrationsamt des Kantons Zürich liessen sich nicht vernehmen. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
D. Mit Verfügung vom 26. August 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde hinsichtlich der Ausreiseverpflichtung antragsgemäss aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Art. 83 lit. c Ziff. 2 BGG schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht. Gegen Entscheide über den Widerruf einer Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (<ref-ruling> E. 1.2.1 S. 4).
1.2 Anfechtungsobjekt ist ausschliesslich das Urteil des Verwaltungsgerichts. Auf die Kritik des Beschwerdeführers an den unterinstanzlichen Verfügungen (vgl. <ref-ruling> E. 1.3 S. 181 mit Hinweisen) ist daher nicht einzugehen.
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (Art. 105 Abs. 1 BGG). Es kann diesen bloss berichtigen oder ergänzen, falls er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (Art. 105 Abs. 2 BGG). Der Betroffene muss rechtsgenügend darlegen, dass und inwiefern der festgestellte Sachverhalt bzw. die vorinstanzliche Beweiswürdigung klar und eindeutig mangelhaft erscheint (vgl. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4). Auf rein appellatorische Kritik an der Sachverhaltsermittlung tritt das Bundesgericht nicht ein (<ref-ruling> E. 3 S. 104 f.).
Soweit der Beschwerdeführer sich darauf beschränkt, seine Sicht der Dinge, wie er sie bereits der Vorinstanz dargelegt hat, wortwörtlich zu wiederholen, und nicht in Auseinandersetzung mit der Begründung im angefochtenen Entscheid im Einzelnen darlegt, inwiefern das Verwaltungsgericht mit seinen Ausführungen Bundesrecht verletzt hat oder seine Sachverhaltsfeststellung bzw. Beweiswürdigung willkürlich wäre, kommt er seinen gesetzlichen Begründungsanforderungen nicht nach. Es ist auf die entsprechenden Ausführungen nicht weiter einzugehen und dem bundesgerichtlichen Entscheid der Sachverhalt zugrunde zu legen, wie ihn die Vorinstanz festgestellt hat.
Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; vgl. <ref-ruling> E. 1.5 S. 146 f.). Das Schreiben des Zivilstandsamts B._ vom 18. August 2011 ist als sogenanntes echtes Novum unbeachtlich, wobei es am Ausgang des Verfahrens ohnehin nichts zu ändern vermöchte.
2. Der Beschwerdeführer macht vorab geltend, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verletzt, indem sie seine Verlobte nicht persönlich angehört habe. Diese Rüge geht fehl. Die Vorinstanz bezweifelt nicht, dass der Beschwerdeführer seine Verlobte nach seiner Entlassung aus der Untersuchungshaft kennen gelernt hat und mit ihr zusammenlebt. Er hatte bei der Befragung vom 19. Juli 2010 Gelegenheit, sich dazu umfassend zu äussern. Die Verlobte hat ihren Standpunkt, der mit den Aussagen des Beschwerdeführers übereinstimmt, zudem schriftlich dargelegt. Unter diesen Umständen durfte die Vorinstanz ohne weiteres davon ausgehen, dass die verlangte persönliche Befragung keine für den Ausgang des Verfahrens relevanten zusätzlichen Erkenntnisse bringen konnte, und in vorweggenommener Beweiswürdigung (vgl. <ref-ruling> E. 5.3 S. 148 mit Hinweisen) auf eine Befragung verzichten. Der in diesem Zusammenhang erhobene Vorwurf der ungenügenden Sachverhaltsermittlung ist damit ebenfalls unbegründet.
3. 3.1 Der Beschwerdeführer wurde wegen (mehrfachen) Verbrechens gegen das Betäubungsmittelgesetz zu einer teilbedingten Freiheitsstrafe von drei Jahren (12 Monate unbedingt und 24 Monate bedingt), die die Grenze zur längerfristigen Freiheitsstrafe gemäss Art. 62 lit. b des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; <ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.) klar überschreitet, verurteilt. Damit besteht nach Art. 62 lit. b in Verbindung mit Art. 63 Abs. 2 AuG ohne weiteres ein Grund, die Niederlassungsbewilligung zu widerrufen.
3.2 Ein Widerruf der Niederlassungsbewilligung rechtfertigt sich indessen nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme auch als verhältnismässig erscheinen lässt. Dabei sind namentlich die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen (<ref-ruling> E. 4.3 ff. S. 381 ff.; vgl. Art. 96 Abs. 1 AuG). Analoge Kriterien ergeben sich aus Art. 8 Ziff. 2 EMRK bzw. Art. 13 BV in Verbindung mit Art. 36 BV.
4. 4.1 Die Vorinstanz ging aufgrund der durch das Obergericht bestätigten Verurteilung zu einer teilbedingten Freiheitsstrafe von drei Jahren zu Recht von einem erheblichen Verschulden des Beschwerdeführers aus. Er wurde zwar nur einmal verurteilt, aber ins Gewicht fällt, dass er über einen Zeitraum von rund acht Monaten bandenmässig im Heroinhandel tätig war und beim Handel von mindestens 2,6 Kilogramm Heroin mitwirkte, wobei bei jeder einzelnen Transaktion von Heroin der Grenzwert zum schweren Fall deutlich und mehrfach überschritten wurde. Zudem hat er stets mit Wissen und Willen sowie aus rein finanziellem Interesse gehandelt. Sämtliche mildernden Umstände werden bei der Festsetzung des Strafmasses bereits mitberücksichtigt. Im ausländerrechtlichen Verfahren bleibt daher in der Regel kein Raum, die Beurteilung des Strafrichters in Bezug auf das Verschulden zu relativieren (vgl. Urteil 2C_66/2009 vom 1. Mai 2009 E. 3.2 mit Hinweisen). Der Entscheid des Verwaltungsgerichts erging weniger als eineinhalb Jahre nachdem die strafrechtliche Verurteilung bestätigt worden war, weshalb nicht von einer nachhaltigen Bewährung gesprochen werden konnte, zumal der Beschwerdeführer auch unter dem Druck der laufenden Probezeit sowie des ausländerrechtlichen Verfahrens stand. Die Vorinstanz ist im Übrigen zutreffend davon ausgegangen, dass bei Betäubungsmitteldelikten selbst ein relativ geringes Rückfallrisiko nicht hingenommen werden muss und vorliegend auch generalpräventive Überlegungen berücksichtigt werden dürfen. Das Verwaltungsgericht erachtete daher zu Recht das öffentliche Interesse an der Entfernung des Beschwerdeführers als gewichtig.
4.2 4.2.1 Die Vorinstanz hat sodann alle relevanten Gesichtspunkte - auch diejenigen, die für einen Verbleib des Beschwerdeführers sprechen - geprüft und in die Abwägung einbezogen. Der Beschwerdeführer ist kein Ausländer der zweiten Generation, wobei selbst bei einem Ausländer, der hier geboren ist und sein gesamtes bisheriges Leben in der Schweiz verbracht hat, eine Wegweisung nicht ausgeschlossen ist (vgl. <ref-ruling> E. 4.4.1). Trotz einer relativ langen Aufenthaltsdauer in der Schweiz ist der Beschwerdeführer nicht besonders integriert. Er hat keine Lehre absolviert. Nach der Berufswahlschule arbeitete er bei verschiedenen Arbeitgebern und war zwischendurch und ab Herbst 2005 über längere Zeit arbeitslos. Seit Februar 2009 hat er eine Anstellung in der von seiner Schwester geführten Coop-Tankstelle. Hinweise darauf, dass er ausserhalb der Familie sozial in der Schweiz verwurzelt wäre, sind nicht ersichtlich. Aus dem Anspruch auf Schutz des Privatlebens ergibt sich ein Recht auf Verbleib bloss unter besonderen Umständen. Erforderlich sind besonders intensive, über eine normale Integration hinausgehende private Bindungen gesellschaftlicher oder beruflicher Natur bzw. entsprechende vertiefte soziale Beziehungen zum ausserfamiliären Bereich (<ref-ruling> E. 3.2.1 S. 286; <ref-ruling> E. 2c S. 384 ff.; <ref-ruling> E. 3b S. 22). Solche sind vorliegend nicht gegeben. Im Übrigen kann davon ausgegangen werden, dass der Beschwerdeführer mit den Verhältnissen im Heimatland, wo er bis zum Alter von 13 Jahren gelebt hat und wohin er sich alljährlich begibt, sowie mit der heimatlichen Sprache nach wie vor vertraut ist. Seine vormalige Ehe mit einer Landsfrau (2000-2005) deutet ebenfalls darauf hin, dass er mit seinem Heimatland trotz langem Aufenthalt in der Schweiz verbunden blieb. Eine Ausreise in den Kosovo wird den Beschwerdeführer zwar hart treffen, aber erweist sich nicht als unzumutbar, zumal dort noch Verwandte leben. Dass er im Heimatland kein Grundeigentum besitzt und die wirtschaftlichen Verhältnisse allgemein weniger günstig sein mögen, ändert daran nichts.
Die Vorinstanz bezweifelt nicht, dass der Beschwerdeführer mit seinen Familienangehörigen in der Schweiz eng verbunden ist und in regem Kontakt steht. Diese Beziehung kann der erwachsene Beschwerdeführer jedoch auch vom Heimatland aus pflegen. Dass zwischen ihm und seinen Familienangehörigen ein eigentliches Abhängigkeitsverhältnis (vgl. <ref-ruling> E. 3.4.2; <ref-ruling> E. 2 S. 14; <ref-ruling> E. 1d und e S. 261 f.; Urteile 2C_451/2007 vom 22. Januar 2008 E. 2.2 und 2A.564/2006 vom 10. Januar 2007 E. 2.4; EGMR-Urteile Ezzouhdi gegen Frankreich vom 13. Februar 2001 [Nr. 47160/99] § 34 und Slivenko gegen Lettland vom 9. Oktober 2003 [Nr. 48321/99] § 97; MEYER-LADEWIG, EMRK, 3. Aufl. 2011, N. 52 zu Art. 8 EMRK; GRABENWARTER/PABEL, Europäische Menschenrechtskonvention, 5. Aufl. 2012, § 22 N. 18 S. 237) bestünde, ist weder dargetan noch ersichtlich. Insoweit wird Art. 8 EMRK durch die fragliche Massnahme nicht verletzt.
4.2.2 Der Beschwerdeführer beruft sich auch gestützt auf das Konkubinat mit seiner schweizerischen Verlobten und die mit dieser gelebten familiären Beziehung auf Art. 8 EMRK. Nach der Rechtsprechung schützt Art. 8 EMRK im Zusammenhang mit der Bewilligung des Aufenthalts in erster Linie die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern (<ref-ruling> E. 1.3.2 S. 146 mit Hinweisen). In den Schutzbereich von Art. 8 EMRK fallen aber auch nicht rechtlich begründete familiäre Verhältnisse, sofern eine genügend nahe, echte und tatsächlich gelebte Beziehung besteht; entscheidend ist die Qualität des Familienlebens und nicht dessen rechtliche Begründung (<ref-ruling> E. 3.1 S. 148). Das Bundesgericht hat hieraus abgeleitet, dass sich aus einem Konkubinat ein Bewilligungsanspruch dann ergibt, wenn die partnerschaftliche Beziehung seit Langem eheähnlich gelebt wird oder konkrete Hinweise auf eine unmittelbar bevorstehende Hochzeit hindeuten. Die Beziehung der Konkubinatspartner muss bezüglich Art und Stabilität in ihrer Substanz einer Ehe gleichkommen. Dabei ist wesentlich, ob die Partner in einem gemeinsamen Haushalt leben; zudem ist der Natur und Länge ihrer Beziehung sowie ihrem Interesse und ihrer Bindung aneinander, etwa durch Kinder oder andere Umstände wie die Übernahme von wechselseitiger Verantwortung, Rechnung zu tragen (<ref-ruling> E. 3.1 S. 148; GRABENWARTER/PABEL, a.a.O., § 22 N. 16 S. 235 f.; JENS MEYER-LADEWIG, a.a.O., N. 49 zu Art. 8 EMRK; Urteil der Grossen Kammer des EGMR Yigit gegen Türkei vom 2. November 2010 [Nr. 3976/05] §§ 93 und 96).
Im Urteil 2C_97/2010 vom 4. November 2010 hat das Bundesgericht in Auseinandersetzung mit der einschlägigen Praxis des Europäischen Gerichtshofs für Menschenrechte (EGMR) eine hinreichende Stabilität der Beziehung in einem Fall verneint, in dem die Betroffenen seit drei Jahren zusammengelebt hatten, keine Heiratsabsichten bestanden und die Beziehung kinderlos geblieben war. Es wies darauf hin, dass nach der Rechtsprechung ein Zusammenleben von 18 Monaten zur Begründung des Bewilligungsanspruchs in der Regel (noch) nicht genügt (so die Urteile 2C_225/2010 vom 4. Oktober 2010 E. 2.2 und 2C_300/2008 vom 17. Juni 2008 E. 4.2) und der EGMR beim Fehlen von gemeinsamen Kindern einen Anspruch bisher in Fällen bejaht hat, in denen die Beziehungen jeweils sechs bis achtzehn Jahre gedauert hatten (E. 3.3). Im Entscheid 2C_25/2010 vom 2. November 2010 liess das Bundesgericht ein Zusammenleben von zwei Jahren nicht genügen, zumal die Partner beide noch verheiratet waren (E. 6). Am 31. Januar 2011 bejahte es einen Bewilligungsanspruch bei einem Konkubinatspaar, das zwei Jahre zusammengelebt hatte, wobei eine Heirat beabsichtigt und aus der Beziehung ein gemeinsames Kind hervorgegangen war (Urteil 2C_661/2010 vom E. 3); es verweigerte die beantragte Bewilligung indessen gestützt auf eine Interessenabwägung im Rahmen von Art. 8 Ziff. 2 EMRK (E. 4).
Gemäss seinen eigenen Angaben bei der Befragung durch die Kantonspolizei Zürich vom 19. Juli 2010 hat der Beschwerdeführer seine zehn Jahre jüngere Verlobte nach seiner Haftentlassung, als sie 19-jährig war, kennen gelernt und lebte im Zeitpunkt der erstinstanzlichen Verfügung seit ungefähr einem Jahr mit ihr zusammen, vorerst in der Wohnung der Freundin und ab 1. Mai 2010 in einer gemeinsam gemieteten Wohnung. Die Vorinstanz ging von einer Bekanntschaft von drei Jahren und einem Zusammenleben von ungefähr 18 Monaten aus. Ob die kinderlose, relativ kurze Beziehung als hinreichend stabil betrachtet werden kann, um dem Beschwerdeführer einen Bewilligungsanspruch gestützt auf Art. 8 EMRK einzuräumen, erscheint aufgrund der erwähnten Rechtsprechung (vgl. Urteile 2C_225/2010 vom 4. Oktober 2010 E. 2.2 und 2C_300/2008 vom 17. Juni 2008 E. 4.2) und gerade auch im Hinblick auf das junge Alter der Verlobten als zweifelhaft. Die Frage kann jedoch dahingestellt bleiben, da ein Eingriff in das geschützte Familienleben nach Art. 8 Abs. 2 EMRK angesichts der Schwere der noch nicht weit zurückliegenden Straftätigkeit im Bereich des Heroinhandels ohnehin verhältnismässig wäre. Zudem ist die schweizerische Verlobte des Beschwerdeführers nicht in der Schweiz sondern im Kosovo, ihrem ursprünglichen Heimatland, geboren und im Alter von sechs Jahren in die Schweiz eingereist. Sie ist hier zwar gut integriert und es würde ihr gewiss sehr schwer fallen, mit dem Beschwerdeführer auszureisen. Indessen wäre ihr eine Ausreise in den Kosovo nicht gerade unzumutbar. Sie spricht die Sprache ihrer ursprünglichen Heimat und die dortigen Verhältnisse, die sie von regelmässigen Ferienaufenthalten kennt, sind ihr nicht völlig fremd. Zu berücksichtigen ist auch, dass sie nicht ohne weiteres damit rechnen konnte, ihre Beziehung mit dem Beschwerdeführer, den sie erst nach der Deliktbegehung kennen gelernt hatte und mit dem sie nach dessen Verurteilung eine gemeinsame Wohnung bezog, zukünftig in der Schweiz wird leben können. Im Übrigen ist grundsätzlich nicht ausgeschlossen, dass dem Beschwerdeführer nach einiger Zeit der Bewährung im Ausland eine Aufenthaltsbewilligung erteilt werden kann, falls die Beziehung zwischen ihm und seiner Verlobten weiterhin besteht und (den Umständen entsprechend) tatsächlich gelebt wird. Der angefochtene Entscheid hält auch insofern vor Art. 8 EMRK stand.
4.3 Der Schluss der Vorinstanz, das öffentliche Interesse an der Entfernung des Beschwerdeführer überwiege dessen privates Interesse am weiteren Verbleib in der Schweiz, ist damit nicht zu beanstanden. Wie das Verwaltungsgericht zutreffend feststellt, war die Fremdenpolizeibehörde auch nicht gehalten, den Widerruf der Niederlassungsbewilligung vorerst bloss anzudrohen. Anstelle der widerrufenen Niederlassungsbewilligung eine (blosse) Aufenthaltsbewilligung zu erteilen, ist sodann nach der bundesgerichtlichen Rechtsprechung ausgeschlossen (Urteil des Bundesgerichts 2C_254/2010 vom 15. Juli 2010 E. 4.3, bestätigt durch Urteil 2C_13/2011 vom 22. März 2011). Es besteht kein Anlass, auf diese Rechtsprechung zurückzukommen. Zusammenfassend ergibt sich, dass das angefochtene Urteil bundesrechts- und staatsvertragskonform ist.
5. 5.1 Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Das Begehren um Zusprechung einer Parteientschädigung für die kantonalen Beschwerdeverfahren wird unter diesen Umständen gegenstandslos.
5.2 Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG). Parteientschädigungen sind nicht geschuldet.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Zürich, der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 27. Juni 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Karlen
Die Gerichtsschreiberin: Dubs