Erwägungen:
1. 1.1 Der 1969 geborene X._, kosovarischer Staatsangehöriger, reiste 1993 in die Schweiz ein und stellte erfolglos ein Asylgesuch. Da der Vollzug der Wegweisung nicht zumutbar war, wurde er vorläufig in der Schweiz aufgenommen. Am 24. Oktober 1996 heiratete X._ eine 1977 geborene, im Kanton Zürich niedergelassene Iranerin, worauf er eine Aufenthaltsbewilligung für den Kanton Zürich erhielt, die regelmässig verlängert wurde. Die Ehe wurde am 1. November 2004 geschieden. Am 20. Juli 2005 wurde X._ X._die Niederlassungsbewilligung für den Kanton Zürich erteilt.
Mit Urteil vom 15. Juni 2010 des Bezirksgerichts Pfäffikon wurde X._ wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz sowie wegen Verstössen gegen das Waffengesetz zu einer Freiheitsstrafe von drei Jahren (davon 18 Monate bedingt) verurteilt.
1.2 Am 13. September 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligung. Ein Rekurs von X._ an die Sicherheitsdirektion des Kantons Zürich blieb ohne Erfolg und auch eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 14. April 2011 ab. Am 21. April 2011 wurde X._ zwecks Sicherstellung des Vollzugs in Ausschaffungshaft genommen; die Haft wurde am 11. Juli 2011 bis 20. Oktober 2011 verlängert.
1.3 Gegen das Urteil des Verwaltungsgerichts vom 14. April 2011 gelangte X._ am 30. Mai 2011 mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragte, das angefochtene Urteil sei aufzuheben und von Zwangsmassnahmen gegen ihn sei abzusehen.
Mit Verfügung vom 19. Juli 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Mit Verfügung vom 10. August 2011 hat der Präsident sodann festgestellt, dass dem Gesuch um aufschiebende Wirkung/vorsorgliche Massnahmen (bloss) insofern entsprochen worden ist, als der Beschwerdeführer bis zum Vorliegen des bundesgerichtlichen Urteils nicht rückgeschafft werden kann.
2. Die von X._ beim Bundesgericht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung und Verweis auf die vorinstanzlichen Erwägungen abzuweisen ist.
2.1 Soweit der Beschwerdeführer zunächst sinngemäss die Verletzung des Anspruchs auf rechtliches Gehör rügt, kann ihm nicht gefolgt werden: Das ausländerrechtliche Bewilligungsverfahren fällt nicht unter Art. 6 EMRK (Urteil 2C_201/2007 vom 3. September 2007 E. 2.1.1 mit Hinweisen), weshalb das Verwaltungsgericht nicht gehalten war, seine Streitsache öffentlich zu beraten; gestützt auf <ref-law> bestand - entgegen der im Übrigen nicht rechtsgenügend begründeten Kritik des Beschwerdeführers (Art. 42 und Art. 106 BGG) - auch kein Anspruch auf die von ihm beantragte mündliche Anhörung durch das Gericht.
Der Beschwerdeführer rügt zusätzlich, dass das Verwaltungsgericht die Strafakten des Bezirksgerichts Pfäffikon nicht beigezogen habe, um sich ein umfassenderes "Täterbild" zu machen. Das Verwaltungsgericht hat jedoch zu Recht ausgeführt, dass die Strafakten bei der Festsetzung des Strafmasses bereits gebührend berücksichtigt worden sind. Der Beschwerdeführer hatte zudem genügend Gelegenheit, sich schriftlich zu äussern und allenfalls andere geeignete Belege, die für eine günstigere Beurteilung sprechen, einzureichen. Daher ist nicht zu beanstanden, wenn die Vorinstanz - in antizipierter Beweiswürdigung (vgl. hierzu allgemein <ref-ruling> E. 5.3 S. 148 mit Hinweis) - von der Einholung der Strafakten absah.
2.2 Gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. b AuG kann die Niederlassungsbewilligung u.a. dann widerrufen werden, wenn die ausländische Person zu einer längerfristigen Freiheitsstrafe verurteilt wurde. Als "längerfristig" gilt jede Freiheitsstrafe, deren Dauer ein Jahr überschreitet (<ref-ruling> E. 4.2 und E. 4.5 S. 379 ff.) und zwar unabhängig davon, ob die Strafe bedingt, - wie vorliegend - teilbedingt oder unbedingt zu vollziehen ist (Urteil 2C_515/2009 vom 27. Januar 2010 E. 2.1). Nichts zu seinen Gunsten ableiten kann der Beschwerdeführer ferner aus dem Umstand, dass das betreffende Strafurteil mangels eines Weiterzugs unbegründet blieb; die in fremdenpolizeilicher Hinsicht notwendigen Schlussfolgerungen lassen sich - wie die Vorinstanz zu Recht ausführt - ohne Weiteres aus der dem Strafurteil zugrunde liegenden Anklageschrift entnehmen (Urteil 2C_515/2009 vom 27. Januar 2010 E. 3.1), die auch hier bei den Akten liegt. Die gesetzliche Voraussetzung eines Widerrufs ist folglich erfüllt.
2.3 Der Beschwerdeführer bestreitet denn auch nicht, dass er durch sein Verhalten einen Widerrufsgrund gesetzt hat. Im Wesentlichen beruft er sich einzig darauf, dass ein Bewilligungswiderruf unverhältnismässig sei. Die erhobene Rüge zielt jedoch ins Leere: Richtig ist wohl, dass ein Widerruf der Bewilligung aufgrund der gesamten Umstände des Einzelfalls verhältnismässig sein muss. Dies hat das Verwaltungsgericht aber nicht verkannt, sondern es hat die hier massgeblichen öffentlichen Interessen an einer Ausreise des Beschwerdeführers und dessen private Interessen an einem Verbleib in der Schweiz in sachgerechter Weise gewürdigt und es für zumutbar erachtet, dass der Beschwerdeführer in seine Heimat zurückkehrt.
2.4 Zu Lasten des Beschwerdeführers fällt namentlich ins Gewicht, dass bei schwerwiegenden Drogendelikten das Bundesgericht eine strenge Praxis verfolgt: Gemäss ständiger Rechtsprechung besteht ein erhebliches öffentliches Interesse an der Fernhaltung ausländischer Drogenhändler (Urteil 2A.582/2006 vom 26. Februar 2007 E. 3.4 und 3.5; vgl. <ref-ruling> E. 4a/aa und E. 4a/bb S. 526 ff.). Sodann ist auch das Wohlverhalten im Strafvollzug kein hinreichender Grund, um von der gebotenen Massnahme abzusehen (<ref-ruling> E. 4a/bb S. 528).
Das Verwaltungsgericht hat die gegenläufigen privaten Interessen des Beschwerdeführers, dem 1996 als 27-Jähriger erstmals der Aufenthalt bewilligt wurde, sehr sorgfältig erhoben, kam aber zum Schluss dass dem Beschwerdeführer, der in der Schweiz keine familiären Verpflichtungen unterhält und sich auch in seinem Heimatland wird zurechtfinden können, zugemutet werden muss, dorthin zurückzukehren. Es kann auf die überzeugenden Ausführungen der Vorinstanz verwiesen werden (<ref-law>).
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist demnach abzuweisen. Angesichts der ausführlichen Begründung im angefochtenen Entscheid, die umfassend auf die bundesgerichtliche Rechtsprechung Bezug nimmt, erwiesen sich die Rechtsbegehren als von vornherein aussichtslos, weshalb dem Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung nicht entsprochen werden kann (<ref-law>). Bei diesem Ausgang hat demzufolge der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 23. August 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger