Sachverhalt:
A. Der aus Serbien stammende X._, geb. 1956, lebt seit 1978 in der Schweiz und besitzt die Niederlassungsbewilligung. Seit 1981 ist er mit einer niedergelassenen serbischen Staatsangehörigen verheiratet. Aus der Beziehung sind drei, mittlerweile volljährige Kinder hervorgegangen, wovon eines (geb. 1986) die Niederlassungsbewilligung besitzt und die beiden anderen (geb. 1983 und 1988) Schweizer Bürger geworden sind.
Seit 1990 wurde X._ mehrmals straffällig, wobei es zu den folgenden Verurteilungen kam:
- mit Strafbefehl der Bezirksanwaltschaft Zürich vom 9. August 1990 wegen Fahrens ohne Führerausweis, wiederholten verbotenen Waffentragens und unerlaubten Hantierens mit Schusswaffen zu 14 Tagen Haft bedingt und Fr. 600.-- Busse;
- mit Urteil des Obergerichts des Kantons Zürich vom 31. März 1993 wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz (Handel mit ca. 300 bis 350 g Heroin) zu 3 1⁄2 Jahren Zuchthaus;
- mit Urteil des Bezirksgerichts Zürich vom 21. November 1995 wegen Verstosses gegen die Verordnung über den Erwerb und das Tragen von Schusswaffen durch jugoslawische Staatsangehörige zu Fr. 1'000.-- Busse;
- mit Urteil des Obergerichts des Kantons Zürich vom 19. Januar 2001 wegen mehrfacher Hehlerei, mehrfacher Widerhandlung gegen das Waffengesetz und insbesondere wegen Betäubungsmitteldelikten (Einfuhr von insgesamt ca. 90 kg Heroin in die Schweiz) zu 13 Jahren Zuchthaus, bei als ausserordentlich schwer qualifiziertem Verschulden;
- mit Strafbefehl der Bezirksanwaltschaft II für den Kanton Zürich vom 27. Juni 2002 wegen mehrfacher Geldwäscherei, wobei von einer Zusatzstrafe zum Urteil des Obergerichts vom 19. Januar 2001 abgesehen wurde.
X._ wurde am 12. November 1990 fremdenpolizeilich verwarnt; mit Verfügung vom 9. Dezember 1996 wurde ihm die Ausweisung angedroht.
X._ befand sich von September 1995 bis Mai 1997 bzw. erneut ab Oktober 1998 im Strafvollzug, wobei eine bedingte Entlassung frühestens Mitte März 2008 möglich war.
B. Mit Beschluss vom 3. Oktober 2007 wies der Regierungsrat des Kantons Zürich X._ mit Blick auf die erwähnten Verurteilungen sowie den Umstand, dass er über einen längeren Zeitraum hinweg mehrfach straffällig geworden war, für die Dauer von zehn Jahren aus der Schweiz aus.
Am 6. Februar 2008 wies das Verwaltungsgericht des Kantons Zürich, 4. Kammer, eine dagegen gerichtete Beschwerde von X._ ab.
C. Mit Eingabe vom 14. Februar 2008 erhebt X._ beim Bundesgericht "Beschwerde", mit welcher er "die Aufhebung des Entscheids der 4. Kammer bzw. des Regierungsrates des Kantons Zürich" bzw. die "Aufhebung der Ausweisung" beantragt.
Die Sicherheitsdirektion des Kantons Zürich schliesst auf Abweisung der Beschwerde, das Bundesamt für Migration auf Abweisung, soweit darauf einzutreten sei. Das Verwaltungsgericht des Kantons Zürich verzichtet auf Vernehmlassung.

Erwägungen:
1. 1.1 Angefochten ist ein Entscheid über eine gestützt auf Art. 10 Abs. 1 lit. a des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) verfügte Ausweisung, wogegen das ordentliche Rechtsmittel der Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (<ref-law> e contrario).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann einzig der kantonal letztinstanzliche Entscheid angefochten werden (vgl. <ref-law>). Soweit vorliegend auch die Aufhebung des regierungsrätlichen Entscheides verlangt wird, ist auf die Beschwerde nicht einzutreten.
1.3 Der Beschwerdeführer ist gemäss <ref-law> zur Ergreifung des vorliegenden Rechtsmittels legitimiert.
1.4 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (<ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
1.5 Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) in Kraft getreten. Massgebend für die materielle Beurteilung bleibt vorliegend aber, in analoger Anwendung von Art. 126 Abs. 1 AuG, grundsätzlich das bisherige Recht (vgl. Urteile 2C_579/2007 vom 28. Januar 2008, E. 1.2; 2C_488/2007 vom 6. Februar 2008, E. 1.2; 2C_756/2007 vom 13. Februar 2008, E. 1).
2. 2.1 Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz oder aus einem Kanton ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Der Beschwerdeführer wurde insbesondere wegen Betäubungsmitteldelikten zu Freiheitsstrafen von insgesamt mehr als 16 1⁄2 Jahren verurteilt. Er hat damit den Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG gesetzt.
2.2 Die Ausweisung soll nach Art. 11 Abs. 3 ANAG nur verfügt werden, wenn sie nach den gesamten Umständen angemessen erscheint. Für die Beurteilung der Angemessenheit, d.h. der Verhältnismässigkeit (vgl. <ref-ruling> E. 2a S. 523) der Ausweisung erklärt Art. 16 Abs. 3 ANAV namentlich als wichtig die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile. Da bei der vorzunehmenden Interessenabwägung die persönlichen und familiären Verhältnisse zu berücksichtigen sind, hält eine im Sinne von Art. 11 Abs. 3 ANAG verhältnismässige Ausweisung grundsätzlich auch vor Art. 8 EMRK bzw. <ref-law> (Recht auf Achtung des Privat- und Familienlebens) stand.
2.3 Das Verwaltungsgericht hat die massgeblichen Gesichtspunkte des vorliegenden Falles im Rahmen der Interessenabwägung umfassend gewürdigt. Dass die Schwere der begangenen Straftaten die verfügte Ausweisung zu rechtfertigen vermag, steht ausser Frage. Das Mass des Verschuldens ergibt sich bereits aus der Höhe der Freiheitsstrafen, welche gegen den Beschwerdeführer verhängt wurden (bei der letztmaligen Verurteilung 13 Jahre, insgesamt 16 1⁄2 Jahre Zuchthaus). Zudem erfolgten die Schuldsprüche hauptsächlich wegen Betäubungsmitteldelikten im grossen Umfange (insgesamt 90 kg Heroin); das Interesse an der Fernhaltung von Ausländern, die an der Verbreitung von Drogen teilnehmen, ist nach ständiger bundesgerichtlicher Rechtsprechung als gewichtig einzustufen (vgl. <ref-ruling> E. 4a S. 527). Hinzu kommt, dass der Beschwerdeführer immer wieder straffällig wurde und sich auch durch eine fremdenpolizeiliche Verwarnung und die Androhung der Ausweisung nicht von weiteren Verfehlungen hat abhalten lassen.
Das Verwaltungsgericht hat (teilweise unter Hinweis auf den regierungsrätlichen Beschluss) umfassend geprüft, inwieweit der Beschwerdeführer besonders gewichtige familiäre bzw. persönliche Gründe für einen weiteren Verbleib in der Schweiz geltend machen kann. In Würdigung aller Kriterien (wie Anwesenheitsdauer in der Schweiz, familiäre Situation, Integration des Beschwerdeführers und seiner Ehefrau, gepflegte Kontakte zu seiner Heimat) hat es erkannt, dass sowohl ihm als auch seiner Ehefrau, soweit diese ihm angesichts der langen Zeit des Getrenntlebens überhaupt folgen möchte, die Rückkehr ins Heimatland zumutbar sei. Es kann auf die zutreffende Begründung im angefochtenen Urteil verwiesen werden. Die Ausweisung erweist sich als verhältnismässig und mithin bundesrechts- und staatsvertragskonform.
2.4 Dem Beschwerdeführer scheint es mit seiner Beschwerde schwergewichtig auch darum zu gehen, nicht der serbischen Justiz übergeben zu werden, welche ihn wegen der Unterstützung der kosovarischen "Rebellenorganisation" UÇK per Haftbefehl suche und ihn bei einer Rückkehr verhaften und sehr wahrscheinlich auch foltern würde.
Das Verwaltungsgericht hielt demgegenüber fest, die diesbezüglichen Vorbringen des Beschwerdeführers erschöpften sich in unsubstantiierten Behauptungen. Die allgemeine Menschenrechtssituation in seinem Heimatland lasse den Ausweisungsvollzug nicht als unzulässig erscheinen.
Streitgegenstand des vorliegenden Verfahrens bildet die Ausweisung. Die Frage einer Verletzung des in <ref-law> bzw. Art. 3 EMRK enthaltenen Grundsatzes, wonach niemand in einen Staat ausgeschafft werden darf, in dem ihm Folter oder eine andere Art grausamer und unmenschlicher Behandlung oder Bestrafung droht, kann sich demgegenüber erst dann stellen, wenn eine zwangsweise Ausschaffung durchgeführt werden soll. Der Beschwerdeführer wird durch die Ausweisung nicht verpflichtet, in ein bestimmtes Land zurückzukehren. Es darf davon ausgegangen werden, dass er als albanischstämmiger Serbe, auch wenn er ursprünglich aus einem im heutigen Serbien liegenden Ort stammen mag, in den - von der Schweiz inzwischen als selbständiger Staat anerkannten - Kosovo ausreisen (bzw. gegebenenfalls ausgeschafft) werden kann.
3. Nach dem Gesagten ist die Beschwerde in öffentlich-rechtlichen Angelenheiten als unbegründet abzuweisen, soweit darauf einzutreten ist.
Entsprechend dem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (<ref-law>). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 24. Juni 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Moser