Sachverhalt:
A. X._, geb. 1959, ist Staatsangehöriger von Bosnien und Herzegowina. Er kam im Jahr 1988 als Saisonnier in die Schweiz. Seit 2000 ist er hier niederlassungsberechtigt. Seine im Jahr 1991 geheiratete Ehefrau und die gemeinsamen vier Kinder (geb. 1991, 1992, 1995 und 1997) verfügen ebenfalls über die Niederlassungsbewilligung.
B. Im September 2006 verurteilte das Bezirksgericht Zürich X._ wegen mehrfachen Verstosses gegen das Betäubungsmittelgesetz zu fünfeinhalb Jahren Zuchthaus. Auf Berufung hin reduzierte das Obergericht des Kantons Zürich das Strafmass auf drei Jahre und neun Monate. Im Dezember 2007 wies das Ausländeramt des Kantons St. Gallen X._ für die Dauer von zehn Jahren aus der Schweiz aus. Dagegen gelangte der Betroffene erfolglos an das kantonale Sicherheits- und Justizdepartement und danach an das Verwaltungsgericht des Kantons St. Gallen.
C. Am 8. Mai 2008 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 3. April 2008 aufzuheben. Es sei vom Widerruf seiner Niederlassungsbewilligung und von seiner Wegweisung abzusehen und ihm der weitere Aufenthalt in der Schweiz zu gestatten. Eventualiter sei eine Verwarnung auszusprechen und die Wegweisung lediglich anzudrohen.
Das Sicherheits- und Justizdepartement sowie das Verwaltungsgericht des Kantons St. Gallen schliessen - gefolgt vom Bundesamt für Migration - auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Am 1. Januar 2008 ist das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Massgebend für die Überprüfung der vorliegend streitigen, vor dem 1. Januar 2008 verfügten Ausweisung ist aber in analoger Anwendung von Art. 126 Abs. 1 AuG das bisherige Recht, nämlich das Bundesgesetz vom 26. Mai 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG).
1.2 Gegen die sich auf Art. 10 ANAG stützende Ausweisungsverfügung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-law> e contrario). Der Beschwerdeführer ist hierzu legitimiert (<ref-law>). Auf die form- und fristgerechte Beschwerde ist einzutreten.
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder in Verletzung eines Beschwerdegrunds im Sinne von <ref-law> ermittelt worden (Art. 105 Abs. 2 bzw. <ref-law>). Hier besteht kein Grund, von den Sachverhaltsfeststellungen des Verwaltungsgerichts abzuweichen. Deren blosse Bestreitung oder die Wiederholung einer davon abweichenden Behauptung (z.B. bezüglich der Integration des Beschwerdeführers in der Schweiz oder seiner weiter bestehenden Kontakte zu seinem Heimatland) reicht nicht aus, um eine Feststellung als qualifiziert mangelhaft erscheinen zu lassen (vgl. <ref-law>).
2. 2.1 Nach Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Durch die Ausweisung erlischt die Niederlassungsbewilligung (Art. 9 Abs. 3 lit. b ANAG). Der erwähnte Ausweisungsgrund ist hier unbestrittenermassen gegeben. Der Beschwerdeführer macht allerdings geltend, dass seine Ausweisung unangemessen sei.
2.2 Gemäss Art. 11 Abs. 3 ANAG soll die Ausweisung nur verfügt werden, wenn sie nach den gesamten Umständen angemessen bzw. verhältnismässig erscheint (vgl. hierzu auch <ref-ruling> E. 2a S. 523 und Art. 8 Ziff. 2 EMRK). Es sollen unnötige Härten vermieden werden. Bei der vorzunehmenden Abwägung sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142.201).
2.3 Ausgangspunkt und Massstab sowohl für die Schwere des Verschuldens als auch für die fremdenpolizeiliche Interessenabwägung ist hier die vom Strafrichter verhängte Strafe. Der Beschwerdeführer ist zu einer mehrjährigen Zuchthausstrafe verurteilt worden. Sowohl das Bezirksgericht (dessen Beurteilung entgegen der Auffassung des Beschwerdeführers keineswegs "völlig irrelevant" ist) als auch das Obergericht des Kantons Zürich haben das Verschulden des Beschwerdeführers als schwer beurteilt. Es ist nicht zu beanstanden, wenn das Verwaltungsgericht gestützt auf die Ausführungen in beiden Strafurteilen zum Schluss gekommen ist, dass der Beschwerdeführer beim Handel mit Heroin im Kilobereich tätig war und eine nicht unerhebliche Rolle bei einem organisierten internationalen Drogenhandel spielte. Es hat das Verschulden des Beschwerdeführers in fremdenpolizeirechtlicher Sicht zutreffend als gravierend bewertet. Entgegen der Darstellung in der Beschwerde handelte es sich nicht um eine einmalige Straftat, sondern um sechs zu unterscheidende Drogentransporte, bei denen der Beschwerdeführer wiederholt beträchtliche kriminelle Energie entwickelte und die ohne das Eingreifen der Polizei wohl nicht so schnell aufgehört hätten. Sein Verhalten war umso verwerflicher, als seinem Tätigwerden pekuniäre Interessen zugrunde lagen, war er doch nicht selber drogenabhängig und auch nicht in einer finanziellen Notlage.
Die vorinstanzliche Beurteilung entspricht der Rechtsprechung des Bundesgerichts, welches bei schwereren Betäubungsmitteldelikten im Hinblick auf den Kampf gegen den Drogenhandel sowie auf die damit zusammenhängende Gefährdung der Gesundheit einer Vielzahl von Menschen bei der Ausweisung eine strenge Praxis verfolgt; das Interesse an der Fernhaltung von Ausländern, die an der Verbreitung von Drogen teilnehmen, ist als gewichtig einzustufen (vgl. <ref-ruling> E. 4a S. 527). Das ist nicht nur schweizerische Auffassung, sondern entspricht der in Europa herrschenden Rechtsüberzeugung (vgl. dazu insb. <ref-ruling> E. 6 u. 7 S. 220 ff.). Nach der bisherigen Rechtsprechung des Europäischen Gerichtshofs für Menschenrechte stellt die Bekämpfung des Betäubungsmittelhandels denn auch ein gewichtiges öffentliches Interesse dar, das eine Ausweisung, trotz eines allenfalls damit verbundenen Eingriffs in das Familienleben, in weitgehendem Masse zu rechtfertigen vermag (vgl. Urteil vom 19. Februar 1998 i.S. Dalia c. France [Recueil CourEDH 1998 76] Rz. 52-55).
2.4 An der Entfernung und Fernhaltung des Beschwerdeführers besteht somit ein (sehr) grosses sicherheitspolizeiliches Interesse, das nur durch entsprechend gewichtige private Interessen aufgewogen werden könnte, d.h. wenn aussergewöhnlich schwerwiegende Umstände gegen eine Ausweisung sprechen würden. Die Vorinstanz hat ausführlich und umfassend geprüft, inwieweit der Beschwerdeführer solche besonderen Gründe für einen weiteren Verbleib in der Schweiz geltend machen kann. In Würdigung aller wesentlichen Kriterien (wie Anwesenheitsdauer in der Schweiz, familiäre Situation bzw. Beziehungsverhältnisse, Arbeits- und Ausbildungssituation, Resozialisierungschancen, Integration, finanzielle Lage, Sprachkenntnisse, persönliches Umfeld) hat sie erkannt, es sei ihm auf Grund seiner familiären Situation zwar ein erhöhtes Interesse am Verbleib in der Schweiz zuzubilligen; insgesamt überwiege jedoch das öffentliche Interesse an seiner Ausweisung. Diese verletze weder nationales Recht noch Art. 8 EMRK.
2.5 Was der Beschwerdeführer dagegen vorbringt, vermag an dieser Beurteilung nichts zu ändern:
2.5.1 Angesichts der Schwere der begangenen Straftaten vermögen dem Beschwerdeführer weder die relativ lange Aufenthaltsdauer noch seine familiären Bande zu helfen. Er befindet sich zwar schon seit 20 Jahren in der Schweiz, wuchs aber in Bosnien-Herzegowina auf und hielt sich dort bis zum 29. Altersjahr auf. Er ist demnach kein Ausländer der zweiten Generation. Er ist nach seiner Haftentlassung wieder in dieselben Lebensverhältnisse zurückgekehrt wie zuvor. Diese erscheinen zwar stabil, haben ihn aber in der Vergangenheit nicht davon abgehalten, schwer straffällig zu werden. Nach den verbindlichen Feststellungen der Vorinstanz ist er in der Schweiz sprachlich sowie gesellschaftlich nur beschränkt integriert. Daran ist nichts auszusetzen (vgl. dazu schon oben E. 1.3), nicht zuletzt angesichts des Umstands, dass gegen den Beschwerdeführer zwischen 1997 und 2005 nach Strassenverkehrsdelikten insgesamt sechs schwere Bussen (von Fr. 600.-- bis Fr. 2'000.--) ausgesprochen werden mussten. Daraus ist mit der Vorinstanz nicht nur auf eine gewisse Uneinsichtigkeit zu schliessen, sondern auch auf den mangelnden Willen, sich an die hier für alle zwingend geltenden Normen und Verpflichtungen zu halten. Selbst wenn der Beschwerdeführer nach seiner Haftentlassung wieder eine feste Arbeitsstelle gefunden hat, kann bei ihm somit nicht von einem den hiesigen Verhältnissen angepassten Leben oder gar einer Verwurzelung in der Schweiz gesprochen werden.
2.5.2 Eine Rückkehr in die Heimat ist dem Beschwerdeführer entgegen seinen Ausführungen zumutbar: Er ist - wie schon hervorgehoben - erst relativ spät in die Schweiz gekommen und hat seine Jugend sowie längere Jahre seines Erwachsenenlebens in seiner Heimat verbracht. Dorthin scheint er zudem in den vergangenen Jahren aussergewöhnlich oft zurückgekehrt zu sein (seinen eigenen Angaben gemäss zweimal pro Monat). Er hat in Bosnien-Herzegowina noch ein Haus und zwei Brüder, mit denen er offenbar im Transportwesen zusammengearbeitet hat. Er ist somit nicht nur mit der Sprache und der Kultur seines Landes, sondern auch mit dessen Wirtschaftsleben nach wie vor verbunden (vgl. dazu auch oben E. 1.3). Es sollte ihm daher möglich sein, ohne allzu grosse Schwierigkeiten zu Hause wieder Fuss zu fassen.
2.5.3 Das Verwaltungsgericht hat auch die familiäre Situation zutreffend gewürdigt. Es hat nicht übersehen, dass eine Rückkehr in die Heimat für die Familie, insbesondere für die beiden ältesten Kinder, hart und wohl kaum zumutbar wäre. Dennoch hat es an der Ausweisung des Beschwerdeführers zu Recht festgehalten: Wohl können familiäre Beziehungen dazu führen, dass von einer Ausweisung eines straffällig gewordenen Ausländers abzusehen ist, wenn die Massnahme wegen der Unzumutbarkeit der Ausreise für die Familienangehörigen zu einer Trennung der Familiengemeinschaft führt. Die Art und Schwere der hier begangenen Betäubungsmitteldelikte sowie das Verschulden des Beschwerdeführers lassen eine solche Rücksichtnahme indessen nicht zu. Das - wie dargelegt (vgl. oben E. 2.4) - (sehr) grosse öffentliche Interesse an der Ausweisung des Beschwerdeführers überwiegt sein und seiner Angehörigen privates Interesse an einem weiteren Verbleib in der Schweiz, selbst wenn die familiäre Beziehung deshalb unter Umständen kaum mehr bzw. nur noch unter erschwerten Bedingungen gelebt werden kann (vgl. <ref-ruling> E. 3.4 und 4.1 S. 218; zu der von der Rechtsprechung entwickelten, hier aber nicht anwendbaren Zweijahresregel vgl. <ref-ruling> E. 4b S. 14, unter Hinweis auf das Urteil i.S. Reneja, <ref-ruling>).
Unter diesen Umständen steht der Ausweisung des Beschwerdeführers auch der in Art. 8 Ziff. 1 EMRK (und <ref-law>) verankerte Anspruch auf Achtung des Familien- und Privatlebens nicht entgegen. Zwar hat der Beschwerdeführer aufgrund der gelebten Beziehung zu seiner Ehefrau und seinen Kindern gestützt auf Art. 8 Ziff. 1 EMRK grundsätzlich einen Anspruch auf Aufenthalt in der Schweiz (vgl. <ref-ruling> E. 4.1 S. 218, mit Hinweis); im vorliegenden Fall ist aber ein Eingriff in das Recht auf Achtung des Privat- und Familienlebens gemäss Ziff. 2 dieser Bestimmung gerechtfertigt: Er stützt sich auf Art. 10 ANAG und verfügt damit über eine gesetzliche Grundlage im Landesrecht. Er bezweckt die Aufrechterhaltung der hiesigen Ordnung sowie die Verhinderung weiterer strafbarer Handlungen und verfolgt öffentliche Interessen, die in Art. 8 Ziff. 2 EMRK ausdrücklich genannt sind; schliesslich hält der Eingriff der Verhältnismässigkeitsprüfung im Sinne von Art. 11 Abs. 3 ANAG, bei welcher die familiären Verhältnisse und damit grundsätzlich auch der Aspekt von Art. 8 EMRK vollumfänglich miteinbezogen werden, stand (vgl. <ref-ruling> E. 5 S. 529).
3. Nach dem Gesagten ist die Beschwerde abzuweisen. Für eine Verwarnung bzw. eine blosse Androhung der Ausweisung besteht kein Raum mehr.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. Oktober 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Matter