Sachverhalt:
A. Der serbische Staatsangehörige X._ (geb. 1955) hielt sich in der Schweiz von 1977 bis 1982 als Saisonarbeiter auf. In der Folge wurde ihm eine Aufenthaltsbewilligung und im Sommer 1988 die Niederlassungsbewilligung erteilt. Seit der Trennung im Jahre 2000 von seiner aus dem ehemaligen Jugoslawien stammenden Ehefrau, mit der er einen Sohn hat (geb. 1980), lebt er mit der in der Schweiz niedergelassenen Landsfrau Y._ zusammen. Aus dieser Beziehung ist ebenfalls ein Sohn (geb. 2001) hervorgegangen.
Mit Schreiben vom 8. Oktober 1997 teilte ihm das Ausländeramt des Kantons St. Gallen mit, er solle sich inskünftig klaglos verhalten, "insbesondere [seinen] finanziellen Verpflichtungen ordnungsgemäss nachkommen (keine neuen Betreibungsbegehren und Verlustscheine verursachen oder erneut Konkurs anmelden und die bestehenden Schulden nach Möglichkeit sanieren)", falls er nicht mit schwerwiegenden fremdenpolizeilichen Massnahmen rechnen wolle. Dabei bezog sich die Behörde auf fünfzehn Verlustscheine im Gesamtbetrag von rund Fr. 106'000.-- sowie auf die Anfang 1997 erfolgte Einstellung mangels Aktiven des gegen ihn eingeleiteten Konkurses.
Am 2. November 2000 verfügte das kantonale Ausländeramt die Ausweisung von X._. Sie stützte diese darauf, dass Letzterer sich nicht um die Tilgung seiner Schulden bemüht habe; die Anzahl der Verlustscheine sei auf 43 und einen Gesamtbetrag von über Fr. 189'000.-- angewachsen. Ausserdem sei X._ von August 1994 bis Dezember 1999 sieben Mal zu Bussen zwischen Fr. 100.-- und 600.-- sowie einmal zu einer Busse von Fr. 5'000.-- verurteilt worden. Auf seinen Rekurs hin sah das kantonale Justiz- und Polizeidepartement am 3. Mai 2001 von der Ausweisung ab, weil ihm diese noch nie vorher mittels einer formellen, anfechtbaren Verfügung angedroht worden sei. Eine solche Androhung sprach das Departement nun ausdrücklich mit seinem Entscheid aus. Es machte X._ darauf aufmerksam, dass er ausgewiesen werden könne, falls er weitere Schulden anhäufe, keine Anstrengungen unternehme, seine Schulden im Rahmen seiner Möglichkeiten abzubauen, oder straffällig werde.
Mit Strafbescheid vom 4. Juni 2004 wurde X._ wegen Pfändungsbetrug, Betrug und Ungehorsam gegen amtliche Verfügungen zu einer Gefängnisstrafe von drei Monaten bedingt und zu einer Busse von Fr. 1'200.-- verurteilt.
B. Mit Verfügung vom 18. Januar 2007 wies das kantonale Ausländeramt X._ für die Dauer von sieben Jahren aus der Schweiz aus. Zur Begründung bezog es sich auf den Strafbescheid vom 4. Juni 2004. Ausserdem seien seit dem Departementsentscheid vom 3. Mai 2001 weitere Betreibungen angehoben worden und keine Bestrebungen zur Schuldentilgung erkennbar gewesen. Per 10. März 2005 seien 51 Verlustscheine im Gesamtbetrag von über Fr. 213'000.-- verzeichnet. Erst unter dem Druck des laufenden Ausweisungsverfahrens habe X._ mit der Rückzahlung offener Rechnungen begonnen. Auf Rekurs hin verkürzte das kantonale Justiz- und Polizeidepartement mit Entscheid vom 13. Dezember 2007 die Dauer der Ausweisung auf drei Jahre. Die hiegegen beim Verwaltungsgericht des Kantons St. Gallen erhobene Beschwerde blieb erfolglos.
C. Mit Beschwerde vom 13. Mai 2008 beantragt X._ dem Bundesgericht, das in dieser Sache ergangene Urteil des Verwaltungsgerichts vom 3. April 2008 aufzuheben und von der Ausweisung abzusehen.
D. Das kantonale Sicherheits- und Justizdepartement (vormals Justiz- und Polizeidepartement), das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Migration ersuchen um Abweisung der Beschwerde. Das kantonale Ausländeramt hat sich nicht vernehmen lassen.
E. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 22. Mai 2008 antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Die kantonalen Instanzen weisen den Beschwerdeführer gestützt auf Art. 10 Abs. 1 lit. b ANAG (BS 1 121, in der Fassung vom 8. Oktober 1948, AS 1949 221 227) aus. Danach kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn sein Verhalten im Allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder nicht fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen.
2. Der Beschwerdeführer macht geltend, die Massnahme sei unverhältnismässig. Er halte sich seit rund 30 Jahren in der Schweiz auf und habe weder Leib noch Leben anderer Menschen gefährdet. Bei ihm fehle es auch an der für eine Ausweisung notwendigen kriminellen Energie. Ausgangspunkt der Schuldensituation sei seine Anfang der neunziger Jahre aufgetretene Invalidität gewesen. Er sei in der Folge mit einer unternehmerischen Tätigkeit, die er mit der ihm verbleibenden Resterwerbsfähigkeit aufgenommen hatte, gescheitert. Seit rund zweieinhalb Jahren habe er Schulden von Fr. 100'000.-- bis 120'000.-- zurückbezahlt. Die Art und der Umfang der Schuldensanierung suche "Vergleichbares".
3. 3.1 Gemäss Art. 16 Abs. 2 ANAV (AS 1949 228) kann die Ausweisung nach Art. 10 Abs. 1 lit. b ANAG unter anderem begründet erscheinen bei schweren oder wiederholten Verstössen gegen gesetzliche Vorschriften oder behördliche Verfügungen, grober Verletzung allgemeiner Gebote der Sittlichkeit, fortgesetzter böswilliger oder liederlicher Nichterfüllung der öffentlich- oder privatrechtlichen Verpflichtungen oder sonstiger fortgesetzter Liederlichkeit oder Arbeitsscheu. Die Ausweisung soll nur verfügt werden, wenn sie nach den gesamten Umständen angemessen erscheint (Art. 11 Abs. 3 ANAG). Für die Beurteilung der Angemessenheit sind namentlich die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz sowie die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (vgl. Art. 16 Abs. 3 ANAV).
3.2 Wie sich aus den in Art. 16 Abs. 2 ANAV genannten Beispielen ergibt, ist für eine Ausweisung entgegen der Ansicht des Beschwerdeführers nicht notwendig, dass der Ausländer kriminelle Energie offenbart. Vielmehr ist der Vorinstanz beizupflichten, wonach der Tatbestand des Art. 10 Abs. 1 lit. b ANAG bereits durch blosse Schuldenmacherei erfüllt werden kann.
Wohl weist der Beschwerdeführer auf seine Bemühungen zur Schuldensanierung hin. Die Vorinstanz räumt denn auch ein, dass zwischen März 2005 und Ende Juni 2007 die Anzahl der offenen Verlustscheine von 51 mit einem Gesamtbetrag von knapp Fr. 213'200.-- auf 37 und einen Restbetrag von rund Fr. 168'400.-- reduziert wurde. Wie sie indes feststellt, stieg zwischen Mai 2001, als dem Beschwerdeführer die Ausweisung infolge Schuldenwirtschaft oder Straffälligkeit förmlich als Verfügung angedroht worden war, und März 2005 die Anzahl der Verlustscheine zunächst weiter an, von 43 Verlustscheinen mit einem Gesamtbetrag von rund Fr. 189'400.-- auf 51 mit einem Gesamtbetrag von etwa Fr. 213'200.--.
Obwohl der Beschwerdeführer zumindest in den Jahren 2002 und 2003 über ein Einkommen verfügte, das ihm namhaftere Tilgungen ermöglicht hätte, begnügte er sich damals mit bescheidenen Abschlagszahlungen. Diese waren im Wesentlichen allein gestützt auf von ihm bezogene Renten berechnet, nicht jedoch auf den höheren Verdienst aus Erwerbstätigkeit. Zudem erklärte er in dieser Zeit gegenüber den Betreibungsbeamten anlässlich verschiedener Pfändungsvollzüge wahrheitswidrig, er verfüge ausser seiner IV-Rente und einer vierteljährlich ausbezahlten Pension über kein weiteres Einkommen und habe auch keine Erwerbstätigkeit. Diese verschwieg er trotz Auskunftspflicht auch gegenüber der zuständigen Sozialversicherungsanstalt, von der er die IV-Rente bezog. Deshalb wurde er mit Strafbescheid vom 4. Juni 2004 unter anderem wegen Betruges und Pfändungsbetruges bestraft.
3.3 Dem Gesagten zufolge häufte der Beschwerdeführer trotz entsprechender Androhung der Ausweisung weitere Schulden an und machte den zuständigen Stellen falsche Angaben zu seinen Einkommensverhältnissen. Die Vorinstanz ist davon ausgegangen, dass dem Beschwerdeführer deshalb eine unentschuldbare Sorglosigkeit seinen finanziellen Verpflichtungen gegenüber vorzuwerfen ist. Letztlich blieb es aber nicht bei dieser blossen Unbekümmertheit. Vielmehr hat der Beschwerdeführer mit seinem Verhalten auch gezeigt, dass er nicht ernsthaft gewillt war, seine Schulden gemäss seinen Möglichkeiten zu begleichen bzw. zurückzuzahlen. Hierbei scheute er nicht davor zurück, betrügerisch zu handeln. Damit hat der Beschwerdeführer zusätzlich kriminelle Energie zu Lasten seiner Gläubiger an den Tag gelegt.
Erst nach Einleitung des streitigen Ausweisungsverfahrens durch das Ausländeramt nahm er grössere Tilgungen vor. Da er aber von der Fremdenpolizei bereits zweimal unter anderem wegen seiner Schulden verwarnt worden war und er diese trotz vorhandener Mittel zunächst nicht entsprechend reduzierte, sondern noch anwachsen liess, kommt den erwähnten Zahlungen keine wesentliche Bedeutung mehr für die vorliegende Beurteilung zu. Zudem hat die Vorinstanz dem Beschwerdeführer vorgehalten, dass seit dem Betreibungsregisterauszug vom 28. Juni 2007 mit Verlustscheinen über rund Fr. 168'400.-- keine signifikanten Sanierungsbemühungen mehr aktenkundig geworden seien; die anders lautenden Behauptungen des Beschwerdeführers seien mit Ausnahme eines Betrages von Fr. 2'200.-- unbewiesen geblieben. Der Beschwerdeführer hat diese Feststellungen nicht bzw. nicht substantiiert gerügt (vgl. Art. 97 Abs. 1 und Art. 105 BGG; <ref-ruling> E. 1.4.3 S. 254 f.). Er begnügt sich mit der - erneut - unbelegten Behauptung, von den Verlustscheinen über den Betrag von Fr. 168'400.-- habe er rund die Hälfte "saniert"; wenn sie nicht gelöscht worden seien, so hänge das damit zusammen, dass die Gläubiger sie trotz Zahlung nicht retourniert hätten. Er legt aber insbesondere nicht dar, dass er bei der Vorinstanz geeignete andere Belege über die angeblich erbrachten Zahlungen eingereicht hatte.
3.4 Demzufolge besteht ein erhebliches öffentliches Interesse daran, den Beschwerdeführer für die angeordneten drei Jahre von der Schweiz fernzuhalten. Mit Blick darauf, dass der Beschwerdeführer nicht nachgewiesen hat, dass er sich auch nach Juni 2007 redlich um Schuldentilgungen bemüht hatte, schlägt sein Einwand nicht durch, seinen Gläubigern sei mit seiner Ausweisung nicht gedient.
3.5 Dem öffentlichen Fernhalteinteresse sind die privaten Interessen des Beschwerdeführers und seiner Familie am Verbleib in der Schweiz gegenüberzustellen. Der Beschwerdeführer hält sich zwar seit langer Zeit in der Schweiz auf. Mit Blick auf die dargestellte Schuldensituation kann jedoch nicht von einer besonders intensiven und schützenswerten Integration gesprochen werden. Zudem kam der Beschwerdeführer erst im Erwachsenenalter in die Schweiz und erhielt im Alter von 27 Jahren die Aufenthaltsbewilligung. Unglaubwürdig ist seine - unsubstantiierte - Behauptung, sein ganzes soziales Beziehungsnetz befinde sich in der Schweiz. Der Beschwerdeführer kehrte nicht nur für die Ferien, sondern auch als Carchauffeur bzw. (angeblich unbezahlte) Begleitperson regelmässig in seine Heimat zurück, wo er noch Kontakte mit Verwandten pflegt. Zudem hat er die Feststellung des Ausländeramtes nicht bestritten, dort ein Haus besessen zu haben.
Zwar leben seine beiden Söhne und seine Lebensgefährtin in der Schweiz. Der volljährige Sohn ist allerdings nicht auf seinen Vater angewiesen und kann die Beziehung namentlich durch Besuche über die Landesgrenzen aufrechterhalten. Auch zum minderjährigen Sohn und zur Lebensgefährtin können zumindest Besuchskontakte ausserhalb der Schweiz stattfinden, falls sich Letztere entschliessen sollte, mit dem Kind in der Schweiz zu bleiben. Als Serbin kann sie aber auch dem Beschwerdeführer in die Heimat folgen. Ihr Sohn ist noch in einem durchaus anpassungsfähigen Alter. Die Nachteile, die dem Kind bei einer Trennung vom Vater erwachsen, überwiegen nicht das erwähnte Fernhalteinteresse, zumal die Ausweisung auf drei Jahre beschränkt wurde. Der Beschwerdeführer musste sich der Konsequenzen seines Verhaltens bewusst sein, nachdem ihn die Behörden bereits einmal formlos verwarnt und ihm später nochmals förmlich die Ausweisung angedroht hatten. Er hat sich über die Verwarnungen - gerade auch in Kenntnis seiner familiären Situation - hinweggesetzt, weshalb er eine allfällige Trennung letztlich selber zu verantworten hat.
3.6 Nach dem Gesagten erweist sich die Ausweisung auf drei Jahre nach Art. 10 Abs. 1 lit. b ANAG als bundesrechtmässig. Sie hält auch vor <ref-law>, Art. 8 EMRK und der UNO-Kinderrechtekonvention stand. Nicht einzutreten ist auf die ohne Begründung erhobene Rüge, die Ausweisung sei nach <ref-law> unzulässig (vgl. Art. 106 Abs. 2 in Verbindung mit <ref-law>).
Wohl führen die vom Beschwerdeführer seit Einleitung des Ausweisungsverfahrens getätigten Schuldrückzahlungen nicht zu einem Verzicht auf die verfügte Massnahme. Sie sowie weitere künftige Tilgungen werden aber durchaus eine Rolle spielen, wenn es darum gehen wird, ob dem Beschwerdeführer nach Ablauf der drei Jahre der Aufenthalt in der Schweiz erneut bewilligt werden kann.
4. Der Beschwerdeführer beruft sich schliesslich darauf, dass nach dem neuen Ausländergesetz (AuG; SR 142.20), das am 1. Januar 2008 in Kraft getreten ist, Fernhaltemassnahmen gegen ihn nicht möglich wären. Das neue Recht sei hier zumindest unter dem Gesichtspunkt der lex mitior als für ihn günstigere Regelung anzuwenden.
Das Bundesgericht hat bereits verschiedentlich erklärt, dass für Ausweisungen, die vor dem 1. Januar 2008 verfügt worden sind, in analoger Anwendung von Art. 126 Abs. 1 AuG das bisherige materielle Recht massgebend bleibt (vgl. Urteile 2C_365/2008 vom 2. September 2008, E. 1.1; 2C_632/2008 vom 11. September 2008, E. 2.1). Der Beschwerdeführer kann deshalb nicht mit dem Hinweis auf den strafrechtlichen Grundsatz der lex mitior eine Beurteilung nach neuem Recht verlangen. Diese würde ihm im Übrigen wohl nichts helfen (vgl. Art. 63 in Verbindung mit Art. 62 AuG, Art. 80 Abs. 1 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]; BBl 2002 S. 3809 f.).
5. Dem Gesagten zufolge ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 und 66 Abs. 1 BGG). Parteientschädigungen werden nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem kantonalen Ausländeramt, dem Sicherheits- und Justizdepartement sowie dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. November 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Merz