Sachverhalt: A. X._ (geb. 1952), Staatsangehöriger von Bosnien und Herzegowina, reiste 1982 in die Schweiz ein und erhielt eine Jahresaufenthaltsbewilligung. 1984 folgten ihm seine Ehefrau Y._ und der gemeinsame Sohn A._ (geb. 1979) im Rahmen des Familiennachzugs in die Schweiz. Am 6. November 1984 wurde X._ vom Kreisgericht Fünf Dörfer wegen Gehilfenschaft zu Diebstahl mit drei Monaten Gefängnis bedingt bestraft. Am 2. Januar 1986 sprach die Fremdenpolizei des Kantons St. Gallen (heute: Ausländeramt) gegen ihn eine Verwarnung aus. Die Aufenthaltsbewilligung wurde widerrufen und es wurde ihm eine sogenannte Toleranzbewilligung (Ausweis D) erteilt. In der Folge erhielt er dann wieder eine Aufenthaltsbewilligung. Im Jahre 1988 kam der Sohn B._ zur Welt. 1992 wurde das Gesuch von X._ um Erteilung einer Niederlassungsbewilligung abgewiesen. Die Eheleute X._ und Y._ liessen sich 1994 scheiden. Am 18. November 1994 wies das Ausländeramt das erneute Gesuch von X._ um Erteilung der Niederlassungsbewilligung ab mit der Begründung, der Gesuchsteller komme seinen finanziellen Verpflichtungen nicht ordnungsgemäss nach. B. In der Folge wurde X._ wiederholt straffällig: Am 12. April 1995 wurde er wegen Geschwindigkeitsüberschreitung mit Fr. 400.-- gebüsst. Mit Strafbescheid vom 23. Oktober 1995 wurde er wegen Widerhandlung gegen die Verordnung über den Erwerb und das Tragen von Schusswaffen durch jugoslawische Staatsangehörige mit zehn Tagen Gefängnis und Fr. 400.-- Busse bestraft. Am 15. September 1998 wurde er mit Fr. 1'000.-- gebüsst, weil er um hohe Geldbeträge gespielt hatte. Am 21. Oktober 1998 wies das Ausländeramt ein erneutes Gesuch von X._ um Erteilung der Niederlassungsbewilligung ab. In der Nacht vom 28. auf den 29. Dezember 1998 schoss X._ im Verlauf einer Auseinandersetzung zwischen verschiedenen Personen aus dem ehemaligen Jugoslawien einem Widersacher mit einer Faustfeuerwaffe nach und verletzte ihn mit einem Streifschuss im Lendenbereich. Das Kreisgericht St. Gallen erklärte X._ mit Urteil vom 12./17. Februar 2003 der versuchten vorsätzlichen Tötung, des Angriffs, der Widerhandlung gegen das Waffengesetz sowie der mehrfachen groben Verletzung der Verkehrsregeln schuldig und verurteilte ihn zu 6 Jahren und 9 Monaten Zuchthaus. Ferner verwies es ihn für 5 Jahre des Landes, unter Gewährung des bedingten Strafvollzugs mit einer Probezeit von 5 Jahren. Auf Berufung hin sprach ihn das Kantonsgericht St. Gallen mit Urteil vom 30. Juni 2004 der versuchten vorsätzlichen Tötung, der Widerhandlung gegen das Waffengesetz sowie der mehrfachen groben Verletzung der Verkehrsregeln schuldig und verurteilte ihn zu 5 1⁄2 Jahren Zuchthaus. Von der Anklage der einfachen Verletzung von Verkehrsregeln und des Angriffs sprach es ihn frei. Die bedingte Landesverweisung wurde bestätigt. Am 15. November 2004 trat X._ in den Strafvollzug ein. Mit Urteil vom 15. Dezember 2004 (6P.140/2004, 6S.385/2004) wies das Bundesgericht die von X._ gegen den Entscheid des Kantonsgerichts eingereichten Beschwerden ab, soweit es darauf eintrat. C. Am 10. März 2006 heiratete X._ eine Schweizer Bürgerin, die ursprünglich ebenfalls aus Bosnien und Herzegowina stammt. X._ beging am 4. November 2007 auf der Rückfahrt vom Urlaub in die Strafanstalt eine massive Geschwindigkeitsüberschreitung um rund 40 km/h auf der Autobahn. Mit Verfügung vom 28. November 2007 verweigerte das Ausländeramt des Kantons St. Gallen die Verlängerung der Aufenthaltsbewilligung von X._. Dagegen erhob X._ erfolglos Rekurs an das Sicherheits- und Justizdepartement und sodann Beschwerde an das Verwaltungsgericht des Kantons St. Gallen. Im April 2008 wurde er bedingt aus dem Strafvollzug entlassen. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. Juni 2008 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 22. Mai 2008 sowie den Entscheid des Sicherheits- und Justizdepartements "vom 4. Februar 2008 vom 27. Juli 2007" aufzuheben und seine Aufenthaltsbewilligung zu verlängern. Das Verwaltungsgericht und das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Kantonale Ausländeramt St. Gallen liess sich nicht vernehmen.