Sachverhalt:
A. Am 17. Januar 2007 verfügte die Zuger Polizei gegen den in Zug wohnhaften Schweizer Staatsbürger X._ (geb. 1982) die Beschlagnahmung sämtlicher Waffen und Munition in seiner Wohnung und in seinem Hobbyraum. Gemäss Sicherstellungsprotokoll wurden je eine Pistole der Typen Tanfoglio Giuseppe, Colt Commander, Pietro Beretta, SIG Pro und SIG Sauer Pro sowie eine Maschinenpistole ARS und je ein Gewehr der Fabrikate Kalaschnikow und Saiga Izhmash sowie diverse Magazine und mehrere Tausend Schuss Munition beschlagnahmt. Gegen diese Massnahme erhob X._ Einsprache. Am 3. April 2007 wies die Zuger Polizei die Einsprache ab und verfügte gleichzeitig, dass die Waffen samt Munition eingezogen werden. Zur Begründung führte die Polizei aus, es gehe aus dem Strafregister hervor, dass X._ zwei Einträge habe. Zum einen sei er im Jahr 2004 wegen grober Verletzung der Verkehrsregeln und Fahrens in angetrunkenem Zustand zu 75 Tagen Gefängnis (bedingt, mit einer Probezeit von drei Jahren) und zum anderen im Jahre 2006 wegen Fahrens in fahrunfähigem Zustand, Fahrens ohne Führerausweis oder trotz Entzugs sowie wegen Missbrauchs von Ausweisen und Schildern zu zwei Monaten Gefängnis verurteilt worden.
Die dagegen gerichtete Verwaltungsbeschwerde wies der Regierungsrat des Kantons Zug am 19. August 2008 ab. Er beschloss, dass nach Rechtskraft seines Entscheides die Kalaschnikow, die Maschinenpistole sowie die gesamte Munition zu vernichten seien und X._ mit dem effektiven Wert derselben zu entschädigen sei. Die übrigen sechs Waffen und die Magazine seien durch die Polizei zu verwerten, wobei X._ der entsprechende Erlös herauszugeben sei. Die sichergestellten Quittungen seien X._ auf Verlangen hin herauszugeben. Diesen Beschluss bestätigte das Verwaltungsgericht des Kantons Zug auf das von X._ erhobene Rechtsmittel hin.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 18. Februar 2009 beantragt X._ dem Bundesgericht, das am 29. Dezember 2008 ergangene Urteil des Verwaltungsgerichts sowie den Beschluss des Regierungsrates vom 19. August 2008 aufzuheben. Ihm seien sämtliche sichergestellten und beschlagnahmten Waffen, Waffenbestandteile und die Munition sowie zugehörige Quittungen und Waffenerwerbsscheine auszuhändigen.
C. Der Regierungsrat hat sich nicht vernehmen lassen. Das Verwaltungsgericht ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Ohne einen ausdrücklichen Antrag zu stellen, hält die Zuger Polizei an ihren Ausführungen im Einspracheentscheid vom 3. April 2007 fest. Das Eidgenössische Justiz- und Polizeidepartement hat sich am 19. Mai 2009 geäussert, jedoch ebenfalls keinen Antrag gestellt.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde am 26. März 2009 in dem Sinne antragsgemäss aufschiebende Wirkung zuerkannt, als dass die sichergestellten Gegenstände nicht vor dem Entscheid des Bundesgerichts verwertet oder vernichtet werden dürfen.
Erwägungen:
1. 1.1 Die interessierenden Massnahmen stützen sich auf das Bundesgesetz vom 20. Juni 1997 über Waffen, Waffenzubehör und Munition (Waffengesetz, WG; SR 514.54), mithin auf öffentliches Recht im Sinne von Art. 82 lit. a BGG. Ein Ausschlussgrund gemäss Art. 83 BGG besteht nicht. Der kantonal letztinstanzliche Entscheid des Verwaltungsgerichts greift in die Eigentums- bzw. Besitzesrechte des Beschwerdeführers ein, weshalb dieser als direkter Adressat der Verfügungen und Teilnehmer an den vorinstanzlichen Verfahren gemäss Art. 89 Abs. 1 BGG zur Beschwerde legitimiert ist. Kein Rechtsschutzbedürfnis besteht indes für den Antrag auf Herausgabe der beschlagnahmten Quittungen. Denn der Regierungsrat hat bereits ausdrücklich erklärt, dass diese dem Beschwerdeführer auf sein Verlangen hin herauszugeben seien. Wegen des Devolutiveffektes ist im Übrigen auf den Antrag, ebenfalls den Beschluss des Regierungsrates aufzuheben, nicht einzutreten; immerhin gilt er als inhaltlich mitangefochten (vgl. 129 II 438 E. 1 S. 441 mit Hinweisen).
1.2 Das Bundesgericht geht einerseits nicht über die Begehren der Verfahrensbeteiligten hinaus (Art. 107 Abs. 1 BGG). Es ist aber anderseits nicht an die Argumente und Erwägungen der Vorinstanzen gebunden; es kann die Beschwerde deshalb aus anderen als den vorgebrachten Gründen gutheissen oder abweisen (vgl. Art. 106 BGG; BGE 134 III 102 E. 1.1 S. 104). Allerdings prüft das Bundesgericht unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (vgl. Art. 42 Abs. 2, 97 Abs. 1 und 106 Abs. 2 BGG) - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten (BGE 133 II 249 E. 1.4.1 S. 254).
2. Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör nach Art. 29 Abs. 2 BV. Das Verwaltungsgericht genüge seiner Begründungspflicht durch seine Verweise auf den Entscheid des Regierungsrates nicht, "zumal die Schlussfolgerung mit den Erwägungen weitestgehend nicht übereinstimmt". Diese Rüge geht fehl. Die aus Art. 29 Abs. 2 BV abzuleitende Begründungspflicht steht Verweisen auf vorinstanzliche Erwägungen zur Vermeidung von Wiederholungen nicht entgegen, zumal der Beschwerdeführer nicht erklärt, er habe beim Verwaltungsgericht Einwände vorgebracht, mit denen sich der Regierungsrat nicht befasst habe. Der Beschwerdeführer macht auch nicht geltend, dass er sich weder über die Tragweite des Entscheids Rechenschaft geben noch ihn in voller Kenntnis der Sache an das Bundesgericht weiterziehen könne (vgl. BGE 134 I 83 E. 4.1 S. 88 mit Hinweisen). Ob die Schlussfolgerungen der Vorinstanz schliesslich zutreffen, betrifft nicht die Frage, ob der Begründungspflicht nachgekommen wurde, sondern die materielle Beurteilung.
3. 3.1 Die Vorinstanzen stützen die Beschlagnahmung auf Art. 31 Abs. 1 lit. b WG. Danach beschlagnahmt die zuständige Behörde Waffen, wesentliche Waffenbestandteile, Waffenzubehör sowie Munition aus dem Besitz von Personen, "bei denen ein Hinderungsgrund nach Artikel 8 Absatz 2 besteht". Die beschlagnahmten Gegenstände werden anschliessend definitiv eingezogen, wenn die Gefahr missbräuchlicher Verwendung besteht (vgl. Art. 31 Abs. 3 WG).
Gemäss Art. 8 Abs. 1 WG benötigt derjenige, der eine Waffe erwerben will, einen Waffenerwerbsschein. Keinen solchen Schein erhalten nach Art. 8 Abs. 2 WG Personen, die das 18. Lebensjahr noch nicht vollendet haben (lit. a ), entmündigt sind (lit. b), zur Annahme Anlass geben, dass sie sich selbst oder Dritte mit der Waffe gefährden (lit. c), oder "wegen einer Handlung, die eine gewalttätige oder gemeingefährliche Gesinnung bekundet, oder wegen wiederholt begangener Verbrechen oder Vergehen im Strafregister eingetragen sind, solange der Eintrag nicht gelöscht ist" (lit. d).
3.2 Dem Regierungsrat und dem Verwaltungsgericht zufolge seien die Hinderungsgründe der Art. 8 Abs. 2 lit. a-c WG nicht gegeben. Die soeben erwähnten Vorinstanzen sind hingegen der Auffassung, dass der Beschwerdeführer den Hinderungsgrund des Art. 8 Abs. 2 lit. d WG erfülle, weil er wegen wiederholt begangener Vergehen im Strafregister eingetragen ist. Gleichzeitig sind sie - anders als noch die Zuger Polizei - aber auch der Ansicht, dass keine Gefahr missbräuchlicher Verwendung der Waffen und ihres Zubehörs im Sinne von Art. 31 Abs. 3 WG vorliege.
Der Beschwerdeführer bestreitet nicht, dass er wiederholt wegen Vergehen bestraft worden ist. Die Vorinstanzen haben im Übrigen zutreffend einen Teil der im Strafregister eingetragenen Delikte als Vergehen qualifiziert (zum Begriff des Vergehens vgl. Art. 10 Abs. 3 StGB bzw. aArt. 9 Abs. 2 StGB in der bis zum 31. Dezember 2006 geltenden Fassung, BS 3 203; Urteil 2C_93/2007 vom 3. September 2007 E. 5.1). Der Beschwerdeführer wendet jedoch ein, das alleinige Vorliegen zweier Strafregistereinträge genüge für eine Beschlagnahmung nicht. Vielmehr müsse auch konkret festgestellt werden, dass die eingetragenen Vergehen eine gewalttätige oder gemeingefährliche Gesinnung bekunden. Das sei bei Delikten gegen das Strassenverkehrsgesetz nicht der Fall, jedenfalls nicht bei dem Verhalten, für das er belangt worden sei. Die Vorinstanzen hätten letztlich prüfen müssen, ob eine Beschlagnahmung unter dem Aspekt der Missbrauchsbekämpfung angezeigt sei. Diesbezügliche Abklärungen hätten die Vorinstanzen unterlassen, nachdem ihnen aufgrund einer Unbedenklichkeitserklärung seiner Psychiaterin und eines ärztlichen Zeugnisses seines Hausarztes offensichtlich klar gewesen sei, dass bei ihm keine Gefahr für einen Waffenmissbrauch vorliege.
3.3 Das Bundesgericht hat in einem Urteil neueren Datums, auf welches das Eidgenössische Justiz- und Polizeidepartement hinweist, bereits ausgeführt, dass Art. 8 Abs. 2 lit. d WG zwei voneinander zu unterscheidende Hinderungsgründe enthält (Urteil 2C_93/2007 vom 3. September 2007 E. 5.1; vgl. auch BGE 2C_797/2008 vom 30. April 2009 E. 3.2.2): Zum einen die Eintragung im Strafregister wegen einer Handlung, die eine gewalttätige oder gemeingefährliche Gesinnung bekundet. Zum anderen die Eintragung im Strafregister wegen wiederholt begangener Verbrechen oder Vergehen. Bei der ersten Variante müssen die Behörden konkret beurteilen, ob die einer Person vorgeworfene Handlung eine gewalttätige oder gemeingefährliche Gesinnung bekundet. In der zweiten Variante ist der Hinderungsgrund bereits durch die wiederholte Begehung von Verbrechen oder Vergehen erfüllt, ohne dass es noch notwendig ist zu prüfen, ob diese Taten eine gewalttätige oder gemeingefährliche Gesinnung offenbaren. Entgegen der Ansicht des Beschwerdeführers ist der Gesetzestext insoweit - in allen drei Amtssprachen - klar (vgl. namentlich die Konjunktionen "oder", "ou" und "o"). Dieser sieht insbesondere nicht vor, dass bei wiederholter Begehung von Verbrechen oder Vergehen noch deren Beweggründe oder die sich daraus ergebende Haltung des Täters zu eruieren wären (vgl. erwähntes Urteil 2C_93/2007 E. 5.1).
3.4 Es besteht kein Grund auf die in diesem Urteil dargelegte Gesetzesinterpretation zurückzukommen. Wohl hatte der Bundesrat in seiner Botschaft - auf die der Beschwerdeführer Bezug nimmt - zu dem vom Parlament unverändert angenommenen Art. 31 Abs. 1 WG ausgeführt, dass Personen nicht länger eine Waffe sollen besitzen können, die eine gewalttätige oder gemeingefährliche Gesinnung bekundet haben "bzw. einschlägig vorbestraft" sind (vgl. BBl 1996 I 1072). Soweit unter einschlägig vorbestraft nur Delikte des Waffengesetzes verstanden würden, könnte damit kaum die Variante der wiederholten Begehung von Verbrechen oder Vergehen gemeint sein, da dieses Gesetz einzig Vergehens- und Übertretungstatbestände enthält (vgl. Art. 33 f. WG; siehe auch Philippe Weissenberger, Die Strafbestimmungen des Waffengesetzes, AJP 2000 S. 163). Es liesse sich noch fragen, ob der Bundesrat - und in der Folge der Gesetzgeber - aufgrund der erwähnten Formulierung in der Botschaft nur die Verbrechen oder Vergehen erfassen wollte, die einen Bezug zum Umgang mit Waffen oder Gewalt haben (in diese Richtung Hans Wüst, Schweizer Waffenrecht, 1999, S. 190). Hierfür findet sich indes kein Anhaltspunkt in den parlamentarischen Beratungen (vgl. insb. AB 1996 S 517 und 525 sowie AB 1997 N 32 ff. und 50). Gegen eine derartige Interpretation sprechen vor allem der klare Wortlaut des Gesetzes sowie die Ausführungen des Bundesrates zu Art. 8 WG (BBl 1996 I 1061). Dort ist nicht davon die Rede, dass es sich um Verbrechen oder Vergehen handeln muss, die einen Zusammenhang mit Gewalt oder Waffen aufweisen. Letztlich ist davon auszugehen, dass der Bundesrat unter "einschlägig vorbestraft" die erste Variante von Art. 8 Abs. 2 lit. d WG meinte, wonach eine Person wegen einer Handlung im Strafregister eingetragen ist, die eine gewalttätige oder gemeingefährliche Gesinnung bekundet.
Mit Blick auf die besondere Gefährlichkeit der vom Waffengesetz erfassten Gegenstände erscheint es ausserdem sachgerecht zu verlangen, dass Personen, die derartige Gegenstände besitzen wollen, sich als besonders zuverlässig erweisen (vgl. auch die Bewilligungsvoraussetzung des guten Leumunds in Art. 32 Abs. 1 lit. d der Waffenverordnung vom 21. September 1998, aWV, AS 1998 2549, bzw. Art. 52 Abs. 1 lit. d der seit dem 12. Dezember 2008 geltenden Waffenverordnung vom 2. Juli 2008, WV, SR 514.541). Dass diese Zuverlässigkeit Personen abgesprochen wird, die wiederholt Vergehen oder Verbrechen begangen haben, ist vertretbar, selbst wenn insoweit kein Bezug zu Gewalt oder Waffen bestand. Immerhin offenbart eine Person, die derart strafrechtlich aufgefallen ist, unwiderstreitbar eine Tendenz, es mit der Wahrung der Rechtsordnung nicht besonders ernst zu nehmen und dabei auch nicht nur (leichtere) Übertretungen zu begehen. Im Übrigen kennen andere Länder - wie zum Beispiel Deutschland und Österreich - vergleichbare Hinderungsgründe (vgl. Joachim Steindorf, Waffenrecht, München 2007, 8. Aufl., N. 1 und 4 ff. zu § 5, S. 110 ff.). Die vom Beschwerdeführer angestrebte einschränkende Auslegung von Art. 8 Abs. 2 lit. d (zweite Variante) WG entgegen seinem Wortlaut ist demzufolge nicht angezeigt (vgl. allg. zur Auslegung, auch gegen den Gesetzeswortlaut: BGE 126 II 71 E. 6d S. 80 f.; 125 II 113 E. 3a S. 117, 521 E. 3c/aa S. 525).
3.5 Demnach erfüllt der Beschwerdeführer durch seine Verurteilungen wegen Vergehen den Hinderungsgrund des Art. 8 Abs. 2 lit. d zweite Variante WG, solange die entsprechenden Strafregistereinträge nicht gelöscht sind. Keine Rolle spielt, dass es sich dabei um Vergehen gegen das Strassenverkehrsgesetz handelte (ebenso im erwähnten Urteil 2C_93/2007 E. 5.1). Entgegen den Ausführungen des Verwaltungsgerichts ist auch nicht zusätzlich zu prüfen, ob der Beschwerdeführer keine Gewähr mehr für den korrekten Umgang mit Waffen bietet; insoweit stösst die Rüge des Beschwerdeführers, die Vorinstanz habe nicht korrekt begründet, warum er diese Gewähr nicht mehr biete, ebenfalls ins Leere. Unerheblich ist schliesslich, dass der Regierungsrat und das Verwaltungsgericht die Gefahr einer missbräuchlichen Verwendung der beschlagnahmten Gegenstände im Sinne von Art. 31 Abs. 3 WG verneint haben. Dem Dargelegten zufolge erweist sich die angefochtene Beschlagnahmung, die auf Art. 31 Abs. 1 lit. b WG gestützt wird, als bundesrechtmässig. Wegen des engen Sachzusammenhangs ist auch die Beschlagnahmung der entsprechenden Waffenerwerbsscheine nicht zu beanstanden.
4. Im Übrigen bestehen gemäss Akten verschiedene Indizien, dass auch der Hinderungsgrund des Art. 8 Abs. 2 lit. c WG gegeben sein könnte. Dieser ist erfüllt, wenn eine Person zur Annahme Anlass gibt, dass sie sich selbst oder Dritte mit einer Waffe gefährdet. Allerdings bedürfte es insoweit weiterer Sachverhaltsabklärungen, wobei dem Beschwerdeführer das rechtliche Gehör zu gewähren wäre. Da bereits ein Hinderungsgrund nach Art. 8 Abs. 2 lit. d WG besteht, kann hier offen gelassen werden, ob derjenige der lit. c ebenfalls vorliegt. Die Behörden werden hierauf jedoch zurückzukommen haben, falls der Beschwerdeführer nach "Löschung" der Strafregistereinträge erneut Waffenerwerbsscheine beantragen sollte. Sie werden sich namentlich mit folgenden Umständen, die für eine Gefährdung sprechen können, näher befassen müssen: wiederholte Trunkenheitsfahrten (vgl. auch Wüst, a.a.O., S. 189/190); Konsum von Beruhigungstabletten bzw. - an ihrer Stelle - von auf dem Schwarzmarkt erworbenem Marihuana; Drogenproblem offenbar betreffend Cannabis, weswegen der Beschwerdeführer eine Suchtberatung aufsuchte (vgl. auch Steindorf, a.a.O., N. 5 in fine zu § 6, S. 129); mehrmonatige Arbeitsunfähigkeit infolge eines Trauerfalls; grosse Anzahl und auffällige Beschaffenheit der vom Beschwerdeführer aufbewahrten Waffen und vor allem Munition. Die Unbedenklichkeitsbescheinigungen des Hausarztes und der behandelnden Psychiaterin, auf welche die Vorinstanzen zu Gunsten des Beschwerdeführers abstellten, waren zudem sehr knapp abgefasst; es ergibt sich aus ihnen nicht, ob den attestierenden Ärzten alle vorerwähnten Umstände bekannt waren. Für den Beweiswert von Arztberichten ist entscheidend, ob diese für die streitigen Belange umfassend sind, auf allseitigen Untersuchungen beruhen und ob die Schlussfolgerungen begründet sind; es fehlte hier mindestens an Letzterem. Ausserdem darf und soll bei ärztlichen Zeugnissen der Erfahrungstatsache Rechnung getragen werden, dass betreuende Ärzte mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patienten aussagen (BGE 125 V 351 E. 3a und b/cc S. 352 f.).
5. Der Beschwerdeführer macht geltend, ein Teil der beschlagnahmten Gegenstände habe seinem Vater gehört. Zufolge Erbganges sei nun auch seine Mutter Miteigentümerin. Er beanstandet, dass seine Mutter nicht in das Verfahren einbezogen worden sei. Zudem strebt er an, dass die betreffenden Gegenstände wenn schon nicht an ihn, so doch - wohl entsprechend Art. 31 Abs. 2 WG - an seine Mutter herausgegeben werden. Soweit auf diese Rügen des Beschwerdeführers überhaupt einzutreten ist, erweisen sie sich als unbegründet.
Die Vorinstanz führt aus, der Beschwerdeführer habe erstmals bei ihr auf ein angebliches Miteigentum der Mutter hingewiesen. Bei der Polizei und dem Regierungsrat habe er sich noch als alleiniger Eigentümer dargestellt. Sein neues Vorbringen sei daher rechtsmissbräuchlich; er habe nicht nach Treu und Glauben gehandelt. Ausserdem liege die Vermutung nahe, dass nach dem Tode des Vaters als Erblasser am 11. Juni 2005 zumindest bezüglich der beschlagnahmten Gegenstände die Erbteilung bereits stattgefunden habe, zumal nur der Beschwerdeführer und seine Mutter erbberechtigt seien.
Hiermit setzt sich der Beschwerdeführer nicht auseinander (vgl. Art. 42 Abs. 2 und 97 Abs. 1 BGG). Die auf den Sachverhaltsfeststellungen der Vorinstanz beruhenden rechtlichen Folgerungen der Vorinstanz sind mithin nicht zu beanstanden. Der Zuger Polizei und dem Regierungsrat kann insbesondere nicht vorgeworfen werden, sie hätten die Mutter nicht in das Verfahren einbezogen, nachdem der Beschwerdeführer bei ihnen immer als Alleineigentümer aufgetreten ist und kein Anlass bestand, diese Situation in Frage zu stellen. Die Mutter hat sich nie wegen den Waffen bei den Behörden gemeldet. Das hätte ihr aber als angebliche Eigentümerin, die eigene Rechte geltend machen will, oblegen. Der Beschwerdeführer hat nicht behauptet, dass seine Mutter keinen Kontakt mehr zu ihm habe und von der Beschlagnahmung nichts wisse.
6. Der Beschwerdeführer macht schliesslich geltend, die Behörden hätten sich widersprüchlich verhalten und damit gegen Art. 9 BV verstossen. Die Zuger Polizei hätte ihm noch im Oktober 2006 Waffenerwerbsscheine und eine Bewilligung für den Erwerb eines Laser-Zielgerätes erteilt, obwohl der Strafregisterauszug bereits den zweiten Eintrag enthielt.
Diesen Einwand hat der Beschwerdeführer beim Verwaltungsgericht nicht erhoben, obwohl das möglich gewesen wäre, so dass dieses auch nicht die hiezu notwendigen Feststellungen getroffen hat. Deshalb rechtfertigt sich, den Einwand als Novum aus dem Recht zu weisen; der Beschwerdeführer hat den vorgesehenen Instanzenzug insoweit materiell nicht ausgeschöpft (vgl. Art. 105 Abs. 1 BGG; BGE 133 III 638 E. 2 S. 640; 103 Ib 366 E. 1b S. 369 f.; Urteile 1C_332/2008 vom 15. Dezember 2008 E. 1.5 und 1C_312/2007 vom 31. März 2008 E. 3.3).
Im Übrigen geht weder aus den dem Bundesgericht vorliegenden Akten noch aus dem Vorbringen des Beschwerdeführers hervor, ob den zuständigen Behörden bei Erteilung der erwähnten Scheine und Bewilligungen auch tatsächlich ein Strafregisterauszug vorgelegt wurde, der bereits sämtliche Vergehen enthielt. Der Beschwerdeführer bezieht sich nur auf einen Auszug, der vom 1. März 2007 datiert und den Behörden im fraglichen Zeitpunkt daher nicht zur Verfügung gestanden haben kann.
Doch selbst wenn der Vorwurf des Beschwerdeführers zutreffen sollte, würde dies nicht zu einem anderen Ergebnis führen. Die Behörden hätten dann zunächst in fehlerhafter Rechtsanwendung die Bewilligung und die Waffenerwerbsscheine erteilt. Hierauf durften sie zurückkommen (vgl. allgemein: BGE 121 II 273 E. 1a/aa S. 276; 127 II 306 E. 7a S. 313 f.; BGE 135 V 201 E. 6.2 S. 208). Mit Blick auf die besondere Gefährlichkeit, die von Waffen ausgeht, und die hochstehenden Rechtsgüter, die es zu schützen gilt (namentlich Leib und Leben), durften - und mussten - sie die vom Beschwerdeführer gerügten Massnahmen ergreifen. Im Übrigen erhält dieser eine Wertentschädigung bzw. den Erlös aus der Verwertung der beschlagnahmten Gegenstände (vgl. Art. 31 Abs. 5 WG in Verbindung mit Art. 54 Abs. 3 und 4 WV bzw. Art. 34 Abs. 3 und 4 aWV).
7. Dem Dargelegten zufolge ist die Beschwerde abzuweisen, soweit auf sie einzutreten ist. Bei diesem Ausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Zuger Polizei, dem Regierungsrat und dem Verwaltungsgericht, Verwaltungsrechtliche Kammer, des Kantons Zug sowie dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 4. August 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Merz