Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 X._, geb. 1970, aus dem Kosovo stammend, Staatsangehöriger der Union Serbien/Montenegro, reiste am 6. März 1988 im Familiennachzug in die Schweiz ein. Im Oktober 1991 übersiedelte er in den Kanton Zug, wo er eine Niederlassungsbewilligung erhielt. Nachdem er vorab wegen verschiedener Übertretungen des Strassenverkehrsgesetzes Strafbefehle erwirkt hatte und sodann am 6. August 1992 wegen Diebstahls, Sachbeschädigung, Hausfriedensbruchs sowie illegalen Tragens und Mitführens einer Faustfeuerwaffe als jugoslawischer Staatsangehöriger erstmals zu einer bedingten Gefängnisstrafe von 40 Tagen verurteilt worden war, drohte ihm das Kantonale Amt für Ausländerfragen des Kantons Zug am 23. Oktober 1992 die Ausweisung aus der Schweiz an (Verwarnung). Es folgten regelmässig weitere Verstösse gegen die Rechtsordnung (Strassenverkehr, Ausländergesetzgebung), und das Kantonsgericht St. Gallen bestrafte ihn am 23. November 1999 mit acht Monaten Gefängnis bedingt, u.a. wegen bandenmässigen Diebstahls, mehrfachen Hausfriedensbruchs und wegen Hehlerei. Das Kantonale Amt für Ausländerfragen verwarnte ihn am 17. März 2000 im Sinne einer letzten Chance erneut. Wegen ab 2001 begangenen Handlungen wurde X._ mit Urteil des Bezirksgerichts Y._ vom 9. Dezember 2002 zu einer Gefängnisstrafe von 30 Monaten und einer unbedingten Landesverweisung von zehn Jahren verurteilt. Das Kantonsgericht St. Gallen reduzierte die Landesverweisung auf sechs Jahre und schob deren Vollzug mit einer Probezeit von vier Jahren auf (Urteil vom 12. Februar 2004). Am 16. Februar 2004 wurde X._ per 3. März 2004 (Vollzug von 2/3 der Freiheitsstrafe) bedingt aus dem Strafvollzug entlassen.
1.2 Das Kantonale Amt für Ausländerfragen verfügte am 13. Oktober 2003 in Berücksichtigung der erwähnten strafrechtlichen Verurteilungen die Ausweisung von X._ aus dem Kanton Zug und aus der Schweiz. Eine Beschwerde an den Regierungsrat des Kantons Zug blieb erfolglos, und mit Urteil vom 5. August 2004 wies das Verwaltungsgericht des Kantons Zug die gegen den regierungsrätlichen Beschluss erhobene Beschwerde ab.
1.3 Mit Verwaltungsgerichtsbeschwerde vom 8. September 2004 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 5. August, der Beschluss des Regierungsrats vom 2. März 2004 und die Ausweisungsverfügung vom 13. Oktober 2004 seien aufzuheben und er sei nicht auszuweisen, allenfalls sei die Ausweisung bedingt auszusprechen; eventualiter sei ihm die Ausweisung lediglich anzudrohen, allenfalls unter Erteilung von Auflagen und Weisungen.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden. Das Urteil, mit dessen Ausfällung das Gesuch um aufschiebende Wirkung gegenstandslos wird, ergeht im vereinfachten Verfahren (Art. 36a OG).
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden. Das Urteil, mit dessen Ausfällung das Gesuch um aufschiebende Wirkung gegenstandslos wird, ergeht im vereinfachten Verfahren (Art. 36a OG).
2. Soweit der Beschwerdeführer nebst der Aufhebung des Urteils des Verwaltungsgerichts auch die Aufhebung der diesem vorausgehenden Entscheidungen des Regierungsrats und des Kantonalen Amtes für Ausländerfragen begehrt, ist darauf nicht einzutreten, da sich die Verwaltungsgerichtsbeschwerde nur gegen den letztinstanzlichen kantonalen Entscheid richten kann, der als Folge des im Beschwerdeverfahren vor Verwaltungsgericht geltenden Devolutiveffekts den Beschluss des Regierungsrats und die diesem zu Grunde liegende Verfügung ohnehin ersetzt (vgl. Art. 98 lit. g OG; <ref-ruling> E. 1c S. 33; <ref-ruling> E. 1 S. 230; <ref-ruling> E. 1d S. 417).
2. Soweit der Beschwerdeführer nebst der Aufhebung des Urteils des Verwaltungsgerichts auch die Aufhebung der diesem vorausgehenden Entscheidungen des Regierungsrats und des Kantonalen Amtes für Ausländerfragen begehrt, ist darauf nicht einzutreten, da sich die Verwaltungsgerichtsbeschwerde nur gegen den letztinstanzlichen kantonalen Entscheid richten kann, der als Folge des im Beschwerdeverfahren vor Verwaltungsgericht geltenden Devolutiveffekts den Beschluss des Regierungsrats und die diesem zu Grunde liegende Verfügung ohnehin ersetzt (vgl. Art. 98 lit. g OG; <ref-ruling> E. 1c S. 33; <ref-ruling> E. 1 S. 230; <ref-ruling> E. 1d S. 417).
3. 3.1 Gemäss Art. 10 Abs. 1 ANAG kann der Ausländer aus der Schweiz unter anderem dann ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (lit. a) oder wenn sein Verhalten im Allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder fähig ist, sich in die im Gastland geltende Ordnung einzufügen (lit. b). Die Ausweisung soll nach Art. 11 Abs. 3 ANAG nur verfügt werden, wenn sie nach den gesamten Umständen angemessen erscheint. Für die Beurteilung der Angemessenheit, d.h. der Verhältnismässigkeit (vgl. <ref-ruling> E. 2a S. 523) der Ausweisung erklärt Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum ANAG (ANAV; SR 142.201) namentlich als wichtig die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz sowie die ihm und seiner Familie drohenden Nachteile. Da bei der vorzunehmenden Interessenabwägung auch die familiären Verhältnisse zu berücksichtigen sind, hält eine im Sinne von Art. 11 Abs. 3 ANAG verhältnismässige Ausweisung grundsätzlich auch vor Art. 8 EMRK stand.
3.2 Ob die Ausweisung im Sinne von Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV verhältnismässig ist, stellt eine vom Bundesgericht frei zu überprüfende Rechtsfrage dar (<ref-ruling> E. 2a S. 107, 521 E. 2a S. 523, mit Hinweisen). Hingegen ist das Bundesgericht gemäss Art. 105 Abs. 2 OG an die Sachverhaltsfeststellungen des Verwaltungsgerichts gebunden, soweit dieses den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen ermittelt hat. Der Beschwerdeführer bemängelt die Sachverhaltsfeststellungen des angefochtenen Urteils nicht. Es ist denn auch nicht erkennbar, inwiefern sich dem Verwaltungsgericht eine in diesem Sinn qualifiziert mangelhafte Ermittlung des für die zu entscheidende Rechtsfrage massgeblichen Sachverhalts vorwerfen liesse. Für die rechtliche Beurteilung der Angelegenheit ist daher ohne Vorbehalt von dessen tatsächlichen Feststellungen auszugehen.
3.2 Ob die Ausweisung im Sinne von Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV verhältnismässig ist, stellt eine vom Bundesgericht frei zu überprüfende Rechtsfrage dar (<ref-ruling> E. 2a S. 107, 521 E. 2a S. 523, mit Hinweisen). Hingegen ist das Bundesgericht gemäss Art. 105 Abs. 2 OG an die Sachverhaltsfeststellungen des Verwaltungsgerichts gebunden, soweit dieses den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen ermittelt hat. Der Beschwerdeführer bemängelt die Sachverhaltsfeststellungen des angefochtenen Urteils nicht. Es ist denn auch nicht erkennbar, inwiefern sich dem Verwaltungsgericht eine in diesem Sinn qualifiziert mangelhafte Ermittlung des für die zu entscheidende Rechtsfrage massgeblichen Sachverhalts vorwerfen liesse. Für die rechtliche Beurteilung der Angelegenheit ist daher ohne Vorbehalt von dessen tatsächlichen Feststellungen auszugehen.
4. Der Beschwerdeführer ist mehrmals zu Freiheitsstrafen verurteilt worden. Er erfüllt den Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG. Angesichts zahlreicher weiterer und kontinuierlicher Verstösse gegen Vorschriften und Verhaltensregeln ist zudem der Ausweisungsgrund von Art. 10 Abs. 1 lit. b ANAG gegeben. Es ist zu prüfen, ob die Ausweisung verhältnismässig ist.
4.1 Ausgangspunkt und Massstab für die Schwere des Verschuldens und die ausländerrechtliche Interessenabwägung ist die vom Strafrichter verhängte Strafe (<ref-ruling> E. 3.1 S. 216). Wird ein Strafurteil insbesondere in Bezug auf die Strafzumessung nicht angefochten, bleibt regelmässig kein Raum, im ausländerrechtlichen Verfahren die diesbezügliche Beurteilung des Strafrichters zu relativieren.
Der Beschwerdeführer geriet bereits kurz nach seiner Einreise mit dem Gesetz in Konflikt. Es ergingen gegen ihn fortdauernd und in regelmässigen Abständen Straferkenntnisse. Abgesehen von verschiedenen Strafbefehlen insbesondere im Zusammenhang mit SVG-Übertretungen sind hervorzuheben die im Jahr 1992 ausgesprochene Gefängnisstrafe von 40 Tagen, die Verurteilung aus dem Jahr 1999 zu acht Monaten Gefängnis und das (abgesehen von der Frage der unbedingten Landesverweisung unangefochten gebliebene) Strafurteil vom 9. Dezember 2002, womit der Beschwerdeführer zu einer Gefängnisstrafe von 30 Monaten verurteilt wurde. Diese letzte Verurteilung wiegt besonders schwer. Wiewohl es dabei nicht um Verbrechen gegen Leib und Leben ging, sondern um Diebstahl, Sachbeschädigung, Hausfriedensbruch und Hehlerei, ist die Qualifikation (Bandenmässigkeit) Ausdruck für eine Bereitschaft zur Entfaltung erheblicher krimineller Energie. Das Bezirksgericht Y._ hob hervor, der Beschwerdeführer habe die Diebstähle mit einer auffallenden Professionalität und Hartnäckigkeit ausgeführt, wobei er rein egoistische, finanzielle Interessen verfolgt habe. Das Verschulden wurde unter anderem auch darum als schwer gewichtet, weil der Beschwerdeführer bis zum Ende der Hauptverhandlung jegliche Tatbeteiligung bestritten und sogar ein gefälschtes Beweismittel vorgelegt habe, ohne Reue und Einsicht in sein Fehlverhalten zu zeigen. Insgesamt wurden gegen den Beschwerdeführer Freiheitsstrafen von weit über drei Jahren ausgesprochen, wobei trotz erster Verurteilungen und zwei unmissverständlicher fremdenpolizeirechtlicher Verwarnungen keine Besserung, sondern klar eine Wende zum Schlechteren festzustellen war. Das Verwaltungsgericht hat das Verschulden des Beschwerdeführers im Sinne von Art. 11 Abs. 3 ANAG zu Recht als insgesamt schwer bewertet. Das öffentliche Interesse an seiner Ausweisung ist damit entsprechend gross und könnte nur aufgewogen werden, wenn er besonders gewichtige Gründe für einen weiteren Verbleib in der Schweiz geltend machen könnte.
Der Beschwerdeführer geriet bereits kurz nach seiner Einreise mit dem Gesetz in Konflikt. Es ergingen gegen ihn fortdauernd und in regelmässigen Abständen Straferkenntnisse. Abgesehen von verschiedenen Strafbefehlen insbesondere im Zusammenhang mit SVG-Übertretungen sind hervorzuheben die im Jahr 1992 ausgesprochene Gefängnisstrafe von 40 Tagen, die Verurteilung aus dem Jahr 1999 zu acht Monaten Gefängnis und das (abgesehen von der Frage der unbedingten Landesverweisung unangefochten gebliebene) Strafurteil vom 9. Dezember 2002, womit der Beschwerdeführer zu einer Gefängnisstrafe von 30 Monaten verurteilt wurde. Diese letzte Verurteilung wiegt besonders schwer. Wiewohl es dabei nicht um Verbrechen gegen Leib und Leben ging, sondern um Diebstahl, Sachbeschädigung, Hausfriedensbruch und Hehlerei, ist die Qualifikation (Bandenmässigkeit) Ausdruck für eine Bereitschaft zur Entfaltung erheblicher krimineller Energie. Das Bezirksgericht Y._ hob hervor, der Beschwerdeführer habe die Diebstähle mit einer auffallenden Professionalität und Hartnäckigkeit ausgeführt, wobei er rein egoistische, finanzielle Interessen verfolgt habe. Das Verschulden wurde unter anderem auch darum als schwer gewichtet, weil der Beschwerdeführer bis zum Ende der Hauptverhandlung jegliche Tatbeteiligung bestritten und sogar ein gefälschtes Beweismittel vorgelegt habe, ohne Reue und Einsicht in sein Fehlverhalten zu zeigen. Insgesamt wurden gegen den Beschwerdeführer Freiheitsstrafen von weit über drei Jahren ausgesprochen, wobei trotz erster Verurteilungen und zwei unmissverständlicher fremdenpolizeirechtlicher Verwarnungen keine Besserung, sondern klar eine Wende zum Schlechteren festzustellen war. Das Verwaltungsgericht hat das Verschulden des Beschwerdeführers im Sinne von Art. 11 Abs. 3 ANAG zu Recht als insgesamt schwer bewertet. Das öffentliche Interesse an seiner Ausweisung ist damit entsprechend gross und könnte nur aufgewogen werden, wenn er besonders gewichtige Gründe für einen weiteren Verbleib in der Schweiz geltend machen könnte.
4.2 4.2.1 Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an die Anordnung einer Ausweisung zu stellen. Zu berücksichtigen ist dabei, in welchem Alter der Ausländer in die Schweiz eingereist ist und wie weit seine Integration gediehen ist. Selbst bei einem Ausländer, der bereits hier geboren ist und sein bisheriges Leben in der Schweiz verbracht hat (Ausländer der "zweiten Generation"), ist eine Ausweisung nach der bundesgerichtlichen Rechtsprechung bei gravierenden Straftaten (Gewalt-, Sexual- oder schwere Drogendelikte) und bei wiederholter Delinquenz nicht ausgeschlossen. Massgebend sind immer die gesamten Umstände und die persönlichen Verhältnisse im Einzelfall (<ref-ruling> E. 2c S. 436; <ref-ruling> E. 2b S. 523 f., mit Hinweisen auf weitere nicht publizierte Urteile des Bundesgerichts).
Der Beschwerdeführer reiste 1988, bloss relativ kurze Zeit vor seiner Volljährigkeit in die Schweiz ein. Er befindet sich seit nunmehr gut 17 Jahren hier, ist aber nicht ein in der Schweiz aufgewachsener Ausländer der zweiten Generation. Er verbrachte die ersten Lebensjahre (gut 17 Jahre) in seinem Heimatland, wo er die Grundschule und das Gymnasium besuchte. Damit ist die Ausweisung, jedenfalls bei wiederholter Straffälligkeit, auch dann zulässig, wenn nicht Gewalt-, Sexual- oder schwere Betäubungsmitteldelikte vorliegen.
4.2.2 Das Verwaltungsgericht hat in seinem Urteil alle für die Beurteilung der persönlichen Verhältnisse des Beschwerdeführers wesentlichen Gesichtspunkte in Betracht gezogen. Es hat nicht übersehen, dass dieser die hiesige Sprache beherrscht, seine Eltern und Geschwister hier leben und dass er die Fähigkeiten hat, um im Berufsleben zu bestehen. Angesichts der seit Jahren kontinuierlich zu verzeichnenden, zunehmend schwerer werdenden Verstösse gegen die öffentliche Ordnung und seiner an den Tag gelegten Unbelehrbarkeit kann trotz langer Anwesenheit als Erwachsener aber von einer wirklichen Integration in der Schweiz nicht gesprochen bzw. muss der Wille oder die Fähigkeit des Beschwerdeführers, sich an die hiesige Ordnung anzupassen, bezweifelt werden. An dieser Einschätzung vermag der Umstand nichts zu ändern, dass er in den fünf Monaten zwischen bedingter Entlassung aus der Haft und dem Urteil des Verwaltungsgerichts, also während der Hängigkeit der ausländerrechtlichen Rechtmittelverfahren, sich offenbar korrekt verhalten hat. Die Dauer des Wohlverhaltens ist hiefür offenkundig zu kurz, erst recht wenn bedacht wird, dass ein ausländerrechtliches Rechtsmittelverfahren hängig war (vgl. BGE 114 Ib E. 3b S. 4/5; unveröffentlichtes Urteil 2A.418/2003 vom 23. September 2003 E. 3.2). Diesbezüglich darf berücksichtigt werden, dass der Beschwerdeführer sich auch im Strafvollzug nicht einwandfrei verhalten hat (s. dazu angefochtenes Urteil E. 5d S. 18).
Trotz gewisser Relativierungen, die der Beschwerdeführer anbringt, trifft es grundsätzlich auch zu, dass ihm seine nunmehr in die Union Serbien/Montenegro integrierte Heimat nicht unvertraut ist. Das Verwaltungsgericht hat in diesem Zusammenhang darauf hingewiesen, dass er seine Straftaten jeweilen zusammen mit Landsleuten beging. Mit seiner überdurchschnittlich weit gediehenen schulischen Ausbildung in der Heimat und angesichts der Ausbildung bzw. Berufserfahrung in der Schweiz dürfte der Beschwerdeführer gewisse Aussichten auf ein berufliches Fortkommen in seiner Heimat haben. Was sodann die familiären Verhältnisse betrifft, sind die Beziehungen des erwachsenen Beschwerdeführers zu seinen Eltern und Geschwistern insbesondere darum zu relativieren, weil seine heutige Ehefrau, eine langjährige Bekannte, zusammen mit den beiden gemeinsamen Kindern in Kroatien, also nicht in der Schweiz lebt und hier auch nicht über ein eigenständiges (d.h. vom Status des Beschwerdeführers selber unabhängiges) Anwesenheitsrecht verfügt, die Beziehung ihren Anknüpfungspunkt somit ausserhalb der Schweiz hat.
Abgesehen vom Aspekt der Anwesenheitsdauer kann der Beschwerdeführer keine derart ausgeprägte Verbundenheit mit der Schweiz geltend machen, welche die Beziehungen zu einem anderen Land vollständig in den Hintergrund drängen würde.
4.2.3 Der Beschwerdeführer legt besonders Wert auf den Umstand, dass das Kantonsgericht St. Gallen im Rechtsmittelverfahren, in Abweichung vom erstinstanzlichen Strafurteil, die Dauer der strafrechtlichen Landesverweisung von zehn auf sechs Jahre reduziert und insbesondere den Vollzug dieser Massnahme bedingt aufgeschoben hat. Das Verwaltungsgericht stellt zutreffend fest, dass dies für den Ausweisungsentscheid nicht massgeblich ist; es kann hiezu vollumfänglich auf die in jeder Hinsicht zutreffenden Darlegungen in seinem Urteil (E. 5d) verwiesen werden. Der vorliegende Fall gibt dem Bundesgericht keinen Anlass, auf die kürzlich in einem zur Publikation bestimmten Urteil (BGE 2A.12/2004 vom 2. August 2004 E. 4.2) wieder bestätigte Rechtsprechung zur Dualität Landesverweisung/Ausweisung (Resozialisierungs- bzw. fremdenpolizeirechtlicher Sicherheitsaspekt) zurückzukommen. Wegen der bisherigen Unbelehrbarkeit des Beschwerdeführers, unter Berücksichtigung der Verfügung vom 16. März 2004 über die bedingte Entlassung aus dem Strafvollzug und angesichts der Tatsache, dass der Beschwerdeführer schon öfters scheinbar glaubwürdig Besserung versprochen hat, ist nicht zu beanstanden, wenn das Verwaltungsgericht im Hinblick auf das Ausweisungsverfahren eine nicht zu unterschätzende Rückfallgefahr annahm (dazu E. 5e und 5g seines Urteils). Inwiefern übrigens diese gerade heute und anders als bisher durch die Beziehung zu seiner Ehefrau bzw. langjährigen Lebensgefährtin vermindert werden sollte, ist nicht leicht ersichtlich.
4.2.4 Weder das vom Beschwerdeführer erwähnte Urteil 2A.468/2000 vom 18. März 2001 noch die weiteren von ihm herangezogenen, in "Plädoyer" rapportierten Urteile lassen sich mit seinem Fall vergleichen (andere Lebensverhältnisse, andere zeitliche Abläufe bei den Straftaten). Das Verwaltungsgericht hat einerseits die persönlichen und familiären Verhältnisse des Beschwerdeführers und andererseits dessen deliktisches Verhalten zutreffend bewertet und gewichtet. Seine sorgfältige Abwägung der einander gegenüberstehenden Interessen des Beschwerdeführers an einem weiteren Verbleiben in der Schweiz und des öffentlichen Interesses an dessen Ausweisung lässt sich nicht beanstanden und hält vor Art. 10 in Verbindung mit Art. 11 Abs. 3 ANAG. Eine mildere Massnahme, wie eine dritte Ausweisungsandrohung, genügt im Falle des Beschwerdeführers nicht.
4.2.4 Weder das vom Beschwerdeführer erwähnte Urteil 2A.468/2000 vom 18. März 2001 noch die weiteren von ihm herangezogenen, in "Plädoyer" rapportierten Urteile lassen sich mit seinem Fall vergleichen (andere Lebensverhältnisse, andere zeitliche Abläufe bei den Straftaten). Das Verwaltungsgericht hat einerseits die persönlichen und familiären Verhältnisse des Beschwerdeführers und andererseits dessen deliktisches Verhalten zutreffend bewertet und gewichtet. Seine sorgfältige Abwägung der einander gegenüberstehenden Interessen des Beschwerdeführers an einem weiteren Verbleiben in der Schweiz und des öffentlichen Interesses an dessen Ausweisung lässt sich nicht beanstanden und hält vor Art. 10 in Verbindung mit Art. 11 Abs. 3 ANAG. Eine mildere Massnahme, wie eine dritte Ausweisungsandrohung, genügt im Falle des Beschwerdeführers nicht.
5. Die Verwaltungsgerichtsbeschwerde erweist sich, soweit darauf eingetreten werden kann (vgl. E. 2), als offensichtlich unbegründet und ist abzuweisen. Dementsprechend sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 in Verbindung mit Art. 153 und 153a OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
im Verfahren nach Art. 36a OG:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zug sowie dem Bundesamt für Zuwanderung, Integration und Auswanderung schriftlich mitgeteilt.
Lausanne, 24. September 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: