Sachverhalt: A. X._, geb. 1959, ist Staatsangehöriger von Bosnien und Herzegowina. Er kam im Jahr 1988 als Saisonnier in die Schweiz. Seit 2000 ist er hier niederlassungsberechtigt. Seine im Jahr 1991 geheiratete Ehefrau und die gemeinsamen vier Kinder (geb. 1991, 1992, 1995 und 1997) verfügen ebenfalls über die Niederlassungsbewilligung. B. Im September 2006 verurteilte das Bezirksgericht Zürich X._ wegen mehrfachen Verstosses gegen das Betäubungsmittelgesetz zu fünfeinhalb Jahren Zuchthaus. Auf Berufung hin reduzierte das Obergericht des Kantons Zürich das Strafmass auf drei Jahre und neun Monate. Im Dezember 2007 wies das Ausländeramt des Kantons St. Gallen X._ für die Dauer von zehn Jahren aus der Schweiz aus. Dagegen gelangte der Betroffene erfolglos an das kantonale Sicherheits- und Justizdepartement und danach an das Verwaltungsgericht des Kantons St. Gallen. C. Am 8. Mai 2008 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 3. April 2008 aufzuheben. Es sei vom Widerruf seiner Niederlassungsbewilligung und von seiner Wegweisung abzusehen und ihm der weitere Aufenthalt in der Schweiz zu gestatten. Eventualiter sei eine Verwarnung auszusprechen und die Wegweisung lediglich anzudrohen. Das Sicherheits- und Justizdepartement sowie das Verwaltungsgericht des Kantons St. Gallen schliessen - gefolgt vom Bundesamt für Migration - auf Abweisung der Beschwerde.