Sachverhalt:
A. X._ (geb. 1970), serbischer Staatsangehöriger, reiste 1992 in die Schweiz ein und wurde gestützt auf den Bundesratsbeschluss vom 18. Dezember 1991 betreffend die gruppenweise vorläufige Aufnahme von Refraktären und Deserteuren aus dem Gebiet des ehemaligen Jugoslawien vorläufig aufgenommen.
Mit Strafbefehl vom 15. Februar 1993 auferlegte ihm die Bezirksanwaltschaft wegen versuchten Betrugs eine Busse von Fr. 100.--. Am 6. Dezember 1996 verurteilte ihn das Bezirksgericht Frauenfeld wegen einfacher Körperverletzung, Hausfriedensbruchs sowie Widerhandlung gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer zu fünf Monaten Gefängnis und einer Busse von Fr. 800.--, unter Gewährung des bedingten Strafvollzugs bei einer Probezeit von zwei Jahren.
Die Fremdenpolizei des Kantons Zürich (nachfolgend: Fremdenpolizei) wies am 25. Juli 1997 ein Gesuch von X._ un Erteilung einer Aufenthaltsbewilligung ab. Nachdem der Bundesrat mit Beschluss vom 25. Februar 1998 die kollektive vorläufige Aufnahme auf den 30. April 1998 aufgehoben hatte, setzte die Fremdenpolizei X._ am 19. Januar 1999 Frist zur Ausreise bis zum 30. April 1999. Im Juni 1999 beantragte die Fremdenpolizei beim Bundesamt für Flüchtlinge, X._ in die gruppenweise vorläufige Aufnahme für jugoslawische Staatsangehörige mit letztem Wohnsitz im Kosovo gemäss Bundesratsbeschluss vom 7. April 1999 einzubeziehen, was das Bundesamt wegen der Straffälligkeit des Betroffenen ablehnte. In der Folge setzte das Bundesamt X._ eine Ausreisefrist bis zum 15. Januar 2000.
B. Am 25. April 2000 heiratete X._ eine Schweizer Bürgerin (geb. 1961), worauf ihm eine Aufenthaltsbewilligung erteilt wurde.
Mit Strafbefehl vom 17. Oktober 2001 bestrafte ihn die Bezirksanwaltschaft II für den Kanton Zürich wegen Vergehens gegen das Ausländergesetz mit 30 Tagen Gefängnis, unter Gewährung des bedingten Strafvollzugs bei einer Probezeit von zwei Jahren. Am 23. August 2003 wurde X._ festgenommen und in Untersuchungshaft versetzt. Mit Urteil vom 15. Juli 2004 bestrafte ihn das Bezirksgericht Zürich wegen Gefährdung des Lebens, Drohung, mehrfacher Widerhandlung gegen das Waffengesetz sowie Übertretung des Waffengesetzes mit zweieinhalb Jahren Zuchthaus. Gleichzeitig ordnete es den Vollzug der am 17. Oktober 2001 ausgefällten Strafe von 30 Tagen Gefängnis an. Das Obergericht des Kantons Zürich bestätigte den erstinstanzlichen Entscheid mit Urteil vom 31. Januar 2005, und das Kassationsgericht des Kantons Zürich wies die dagegen erhobene kantonale Nichtigkeitsbeschwerde am 25. Februar 2006 in der Hauptsache ab. X._ wurde am 11. Mai 2005 bedingt aus dem Strafvollzug entlassen.
C. Mit Verfügung vom 17. Januar 2007 verweigerte die Sicherheits-direktion (Migrationsamt) des Kantons Zürich X._ die Verlängerung der Aufenthaltsbewilligung. Dagegen rekurrierte X._ an den Regierungsrat des Kantons Zürich.
Mit Urteil des Bezirksgerichts Zürich vom 2. Mai 2007 (in Rechtskraft erwachsen am 1. Juni 2007) wurde seine Ehe mit der schweizerischen Ehefrau geschieden. Am 29. Juni 2007 heiratete X._ in Kloten eine in der Schweiz niedergelassene slowakische Staatsangehörige (geb. 1977).
Der Regierungsrat wies mit Beschluss vom 7. November 2007 den Rekurs gegen die Verweigerung der Bewilligungsverlängerung ab. Dagegen beschwerte sich X._ erfolglos beim Verwaltungsgericht des Kantons Zürich.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. Juni 2008 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 30. April 2008 aufzuheben und die Behörden des Kantons Zürich anzuweisen, seine Aufenthaltsbewilligung zu verlängern. Zudem stellt er das Begehren, ihm im Sinne einer vorsorglichen Massnahme für die Dauer des Beschwerdeverfahrens den Aufenthalt und die Erwerbstätigkeit im Kanton Zürich zu gestatten.
E. Mit Verfügung vom 9. Juni 2008 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde im Sinne der Erwägungen aufschiebende Wirkung zuerkannt.
F. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Die Staatskanzlei des Kantons Zürich - im Auftrag des Regierungsrats - und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts ausgeschlossen gegen die Erteilung oder Verweigerung von Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
Der Beschwerdeführer, dessen slowakische Ehegattin in der Schweiz über eine Niederlassungsbewilligung EG/EFTA verfügt, besitzt nach Art. 7 lit. d des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681) und Art. 3 Abs. 1 und 2 des Anhangs I zum Freizügigkeitsabkommens einen Rechtsanspruch auf eine Aufenthaltsbewilligung, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist.
1.2 Gemäss Art. 126 Abs. 1 des neuen Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20), welches am 1. Januar 2008 in Kraft getreten ist, bleibt für Gesuche, die vor diesem Zeitpunkt gestellt worden sind, das bisherige Recht anwendbar. Das muss auch gelten für Entscheide über die Verlängerung einer Aufenthaltsbewilligung, wenn sie, wie hier, noch unter der Herrschaft des bisherigen Rechts ergangen sind.
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Sachverhaltsfeststellung kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig erfolgt ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (<ref-law>), setzt zudem voraus, dass die Behebung des Mangels sich für den Ausgang des Verfahrens als entscheidend erweisen kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Diese Voraussetzung ist hier nicht erfüllt, weshalb die vom Beschwerdeführer erst im bundesgerichtlichen Verfahren eingereichten Bestätigungen und Auszüge unbeachtlich sind. Im Übrigen wären sie ohnehin nicht geeignet, am Ausgang des vorliegenden Verfahrens etwas zu ändern.
2. 2.1 Das dem Beschwerdeführer - wie dargelegt - nach Art. 3 Anhang I FZA zustehende Anwesenheitsrecht darf gemäss Art. 5 Abs. 1 Anhang I FZA "nur durch Massnahmen, die aus Gründen der öffentlichen Ordnung, Sicherheit und Gesundheit gerechtfertigt sind, eingeschränkt werden". Als derartige Massnahmen gelten alle Handlungen, die das Recht auf freie Einreise und Aufenthalt berühren, so dass auch das Nichtverlängern einer Aufenthaltsbewilligung erfasst wird (vgl. <ref-ruling> E. 3.1 S. 179 f. mit Hinweisen). Aufgrund des in Art. 2 FZA verankerten Diskriminierungsverbots darf der Beschwerdeführer dabei nicht schlechter behandelt werden als der ausländische Ehegatte einer Schweizer Bürgerin (vgl. <ref-ruling> E. 4 S. 116 ff.).
Gemäss dem somit analog anzuwendenden Art. 7 Abs. 1 des hier noch massgebenden (E. 1.2) Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer hat der ausländische Ehegatte eines Unionsbürgers grundsätzlich Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (erster Satz). Der Anspruch erlischt, wenn ein Ausweisungsgrund vorliegt (dritter Satz).
2.2 Der Ausländer kann aus der Schweiz unter anderem ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (Art. 10 Abs. 1 lit. a ANAG). Die Ausweisung soll aber nur verfügt werden, wenn sie nach den gesamten Umständen "angemessen", d.h. verhältnismässig, erscheint (Art. 11 Abs. 3 ANAG). Hierbei sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer).
Ob die Ausweisung gemäss den massgeblichen Bestimmungen verhältnismässig ist, ist eine Rechtsfrage, die vom Bundesgericht im vorliegenden Beschwerdeverfahren frei geprüft wird. Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit der Ausweisung - an die Stelle des Ermessens der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 5.1 S. 208 mit Hinweis).
3. 3.1 Der Beschwerdeführer wurde wiederholt straffällig und zuletzt am 15. Juli 2004 zu einer Zuchthausstrafe von zweieinhalb Jahren, d.h. insgesamt zu drei Jahren Freiheitsentzug verurteilt. Damit liegt ein Ausweisungsgrund nach Art. 10 Abs. 1 lit. a ANAG vor. Zu prüfen bleibt, ob die Nichtverlängerung der Aufenthaltsbewilligung verhältnismässig ist.
3.2 Ausgangspunkt und Massstab für die fremdenpolizeiliche Interessenabwägung ist die vom Strafrichter verhängte Freiheitsstrafe, d.h. das strafrechtliche Verschulden. Nach der sog. "Zweijahresregel" liegt die Grenze, von der an einem mit einer Schweizerin verheirateten Ausländer, der erstmals um eine Bewilligung ersucht oder nach bloss kurzer, ordnungsgemässer Aufenthaltsdauer die Erneuerung beantragt, in der Regel selbst dann keine Bewilligung mehr erteilt wird, wenn der Ehefrau die Ausreise un- oder nur schwer zumutbar ist, bei einer Freiheitsstrafe von zwei Jahren. Allerdings handelt es sich dabei bloss um einen Richtwert, der im Einzelfall über- oder unterschritten werden kann (BGE 130 176 E. 4.1 S. 185 mit Hinweisen).
Einerseits hält sich der Beschwerdeführer zwar schon seit längerer Zeit in der Schweiz auf, aber andererseits sind auch die rechtlichen Umstände seiner Anwesenheit (vgl. E. 3.3) sowie die Tatsache, dass die gegen ihn verhängte Freiheitsstrafe zudem deutlich über dem erwähnten Richtwert liegt, zu berücksichtigen. Hinzu kommt, dass der Beschwerdeführer bei den ins Gewicht fallenden Delikten (1995 und 2003) eine Gewaltbereitschaft erkennen liess, welche eine künftige Gefährdung der öffentlichen Ordnung und Sicherheit befürchten lässt und eine Entfernungsmassnahme auch unter dem Gesichtswinkel der diesbezüglichen Schranke von Art. 5 Anhang I FZA zu rechtfertigen vermag. Die Einwendungen des Beschwerdeführers, Anlass für seine gewalttätigen Handlungen seien massive Beleidigungen seitens der Geschädigten gewesen, sonst wäre er nie gewalttätig geworden, entkräften die Befürchtungen betreffend eine zukünftige Gefährdung der öffentlichen Sicherheit keineswegs. Es kann nämlich nicht ausgeschlossen werden, dass der Beschwerdeführer auch in Zukunft mit Beleidigungen konfrontiert sein wird. Der Schluss der Vorinstanz, aufgrund des gezeigten Verhaltensmusters bestehe Gefahr, dass der Beschwerdeführer bei einer ähnlichen Ausgangslage wiederum mit grosser Gewalt reagieren werde, ist daher nicht zu beanstanden. Dass sich der Beschwerdeführer im Strafvollzug wohl verhalten hat und seit der bedingten Entlassung bzw. während des hängigen fremdenpolizeilichen Verfahrens nicht mehr straffällig geworden ist, steht dieser Beurteilung nicht entgegen. Es besteht somit ein gewichtiges Interesse, den Beschwerdeführer aus der Schweiz fernzuhalten.
3.3 Der Beschwerdeführer ist im Alter von 22 Jahren in die Schweiz eingereist. Er ist folglich in seinem Heimatland aufgewachsen und hat dort auch die prägenden Jugendjahre verbracht. Seit 16 Jahren lebt er nun in der Schweiz. Die verhältnismässig lange Aufenthaltsdauer wird allerdings durch die rechtlichen Umstände dieser Anwesenheit relativiert: Nach seiner illegalen Einreise im Jahre 1992 wurde der Beschwerdeführer vorläufig aufgenommen und musste daher von Anfang an damit rechnen, das Land wieder verlassen zu müssen. Als er wegen seiner Straffälligkeit nicht in die gruppenweise Aufnahme von Personen mit letztem Wohnsitz im Kosovo einbezogen werden konnte, hätte er denn auch am 15. Januar 2000 ausreisen müssen. Er verblieb aber illegal in der Schweiz. Schliesslich wurde ihm einzig aufgrund seiner im April 2000 erfolgten Heirat mit einer Schweizer Bürgerin der weitere Verbleib in der Schweiz bewilligt. Von August 2003 bis Mai 2005 befand er sich in Untersuchungs- und Sicherheitshaft sowie anschliessend im vorzeitigen Strafvollzug. Nach seiner bedingten Entlassung musste der Beschwerdeführer wiederum damit rechnen, nach dem rechtskräftigen Abschluss des Strafverfahrens, die Schweiz verlassen zu müssen. Kurz nach der Verweigerung der Bewilligungsverlängerung im Januar 2007 wurde die Ehe mit seiner schweizerischen Ehefrau, von der er offenbar seit Oktober 2001 getrennt lebte, geschieden. Knapp vier Wochen nachdem das Scheidungsurteil rechtskräftig geworden war, heiratete der Beschwerdeführer seine heutige slowakische Ehefrau, womit er wiederum einen Aufenthaltsanspruch erwarb. Obwohl der Beschwerdeführer sich schon relativ lange in der Schweiz aufhält, kann unter diesen Umständen nicht von einer eigentlichen Verwurzelung gesprochen werden. Es ist ihm zwar zugute zu halten, dass er sich hier beruflich integriert hat. Er ist Geschäftsführer eines eigenen Gipserunternehmens mit mehreren Angestellten, darunter zwei Brüder. Diese berufliche Integration hat ihn jedoch nicht davon abgehalten, (erneut) straffällig zu werden. Bestimmt wird es dem Beschwerdeführer nicht leicht fallen, den aufgebauten Betrieb zurückzulassen, aber während seines Freiheitsentzuges musste das Unternehmen ebenfalls ohne ihn auskommen. Soziale Beziehungen, die über eine normale Integration hinausgingen, sind weder dargetan noch ersichtlich.
Der Beschwerdeführer ist Vater von drei Kindern (geb. 1994, 1997, 1999), die aus einer nichtehelichen Beziehung zu einer Landsfrau stammen. Sie leben bei seinen Eltern in der Heimat, wo er sie regelmässig besucht. Die Vorinstanz ging somit zu Recht davon aus, dass der Beschwerdeführer nach wie vor eine enge Beziehung zu seinem Heimatland hat und ihm die Rückkehr dorthin zumutbar ist.
3.4 Die vom Beschwerdeführer im Juni 2007 eingegangene Ehe ist für die vorliegende Interessenabwägung bloss von untergeordneter Bedeutung. Im Zeitpunkt der Heirat hatte die Ehegattin von der Straffälligkeit und der bereits verfügten Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers Kenntnis und musste folglich damit rechnen, die Ehe mit dem Beschwerdeführer nicht in der Schweiz leben zu können. Wie bereits erwähnt, wird einem mit einer Schweizer Bürgerin verheirateten Ausländer bei einer vergleichbaren Freiheitsstrafe nach der Praxis die Aufenthaltsbewilligung selbst dann verweigert, wenn es für die Ehefrau unzumutbar ist, ihrem Ehemann in dessen Heimatland zu folgen. Ob für die slowakische Ehefrau die Ausreise ins Heimatland des Beschwerdeführers zumutbar wäre, kann unter diesen Umständen dahingestellt bleiben. Falls die Ehefrau sich entscheiden sollte, in der Schweiz zu verbleiben, ist es dem Beschwerdeführer zudem nicht verwehrt, sie hier zu besuchen, da bloss eine Bewilligungsverweigerung und keine Ausweisung verfügt wurde.
3.5 Wenn das Verwaltungsgericht bei dieser Sachlage die Voraussetzungen für eine Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers als erfüllt erachtete, verstiess es damit weder gegen Bundesrecht noch gegen staatsvertragliche Verpflichtungen.
4. 4.1 Aufgrund des Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen.
4.2 Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 27. Januar 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Müller Dubs