Sachverhalt:
A.
Der 1977 geborene A._ wurde am 1. Dezember 2017 von der Zuger Polizei in U._ in Gewahrsam genommen und durch den Rettungsdienst Zug ins Spital B._ gebracht. Dort verfügte Dr. med. Dr. med. C._, Leitender Arzt in der Medizinischen Klinik, noch am gleichen Tag eine ärztliche fürsorgliche Unterbringung. Anschliessend wurde A._ von der Zuger Polizei in die Klinik D._ überführt, wo er bis am 4. Dezember 2017 betreut und anschliessend in die psychiatrische Abteilung des Spital E._ überwiesen wurde. Am 8. Dezember 2017 erfolgte dort der administrative Austritt.
Mit Verfügung vom 12. Dezember 2017 stellte die Zuger Polizei A._ Kosten in der Höhe von Fr. 403.90 für seinen Transport vom Spital B._ in die Klinik D._ in Rechnung. Die dagegen erhobene Verwaltungsbeschwerde wies der Regierungsrat des Kantons Zug mit Beschluss vom 29. Mai 2018 ab.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Urteil vom 19. März 2019 ab.
C.
Mit Beschwerde beantragt A._ sinngemäss, es sei unter Aufhebung der vorinstanzlichen Entscheide festzustellen, dass die Zuger Polizei ihm keine Kosten für den Transport vom Spital B._ in die Klinik D._ in Rechnung stellen darf.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 BGG), weshalb auf die Beschwerde einzutreten ist.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>). Es ist aber nicht gehalten, alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese in seinem Verfahren nicht mehr thematisiert werden (<ref-ruling> E. 1.4.1 S. 254; Urteil 2C_386/2016 vom 22. Mai 2017 E. 1.3). Deshalb prüft das Bundesgericht unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Rechtsverletzungen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5 S. 144). Die Anwendung kantonalen Rechts prüft das Bundesgericht grundsätzlich nicht als solche, sondern nur daraufhin, ob sie Bundes- oder Völkerrecht, namentlich das Willkürsverbot, verletzt (<ref-law>; <ref-ruling> E. 2.1).
1.3. Das Bundesgericht prüft die Frage einer Verletzung verfassungsmässiger Individualrechte (unter Einschluss der Grundrechte) sowie von kantonalem Recht nur insoweit, als eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (<ref-law>; qualifizierte Rüge- und Begründungsobliegenheit; <ref-ruling> E. 1.2.2 S. 286). In der Beschwerde ist daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, dass und inwiefern verfassungsmässige Individualrechte verletzt worden sein sollen (<ref-ruling> E. 1.4 S. 5).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Eine Berichtigung oder Ergänzung der vorinstanzlichen Sachverhaltsfeststellungen ist von Amtes wegen (<ref-law>) oder auf Rüge hin (<ref-law>) möglich.
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, als es bestätigte, dass dem Beschwerdeführer die Kosten für den am 1. Dezember 2017 erfolgten polizeilichen Transport vom Zuger Kantonsspital in die Psychiatrische Klinik Zugersee auferlegt werden dürfen.
3.
Die Vorinstanz hat in ihrer Hauptbegründung erwogen, dass gemäss § 25 Abs. 3 lit. f des kantonalen Gesetzes über die Organisation der Polizei vom 30. November 2006 in der bis 31. Dezember 2017 gültig gewesenen Fassung der Ersatz der gesamten Kosten für polizeiliche Leistungen von Personen verlangt wird, die aufgrund einer angeordneten fürsorgerischen Freiheitsentziehung in ein geeignete Anstalt transportiert werden. Gemäss diesem anwendbaren Recht sei es für die Frage der Kostenauferlegung nicht relevant, ob die fürsorgerische Unterbringung rechtmässig gewesen sei. Der Beschwerdeführer rügt, die Auslegung des kantonalen Rechts verstosse gegen die Rechtsweggarantie (<ref-law>), da die Rechtmässigkeit der fürsorgerischen Unterbringung nicht überprüft werde.
4.
4.1. Gemäss <ref-law> hat jede Person bei Rechtsstreitigkeiten Anspruch auf Beurteilung durch eine richterliche Behörde. Bund und Kantone können durch Gesetz die richterliche Beurteilung in Ausnahmefällen ausschliessen. Wie der Beschwerdeführer grundsätzlich zutreffend vorbringt, fliesst aus <ref-law> ein Anspruch auf Überprüfung der Rechtsmässigkeit einer fürsorgerischen Unterbringung durch eine richterliche Behörde. Diesem Anspruch wird jedoch nach bundesgerichtlicher Rechtsprechung mit den Verfahren nach Art. 439 und <ref-law> Genüge getan (vgl. Urteil 5A_674/2015 vom 29. September 2015 E. 1.3.2).
4.2. Der angefochtene Entscheid erging weder in einem Verfahren nach <ref-law> noch in einem solchen nach <ref-law>, sondern in einem kantonalen Verfahren nach dem kantonalen Polizeiorganisationsgesetz. Dabei konnte das kantonale Gericht frei überprüfen, ob der Sachverhalt den Tatbestand des § 25 Abs. 3 lit. f dieses Gesetzes erfüllte. Eine Verletzung der Rechtsweggarantie ist liegt damit nicht vor. Dieser Garantie widerspricht weder die Beschränkung der Prüfung des kantonalen Gerichts auf die für die Subsumtion wesentlichen Aspekte des Sachverhalts (vgl. <ref-ruling> E. 5.1 S. 472), noch der Umstand, dass das materielle kantonale Recht für den Beschwerdeführer nicht günstiger ausgestaltet ist, wenn es gemäss willkürfreier (vgl. vorne E. 1.2) Auslegung durch die Vorinstanz die Kostenauflage unabhängig von der Rechtmässigkeit der Unterbringung vorsieht. Es ist somit nicht ersichtlich, dass das kantonale Gericht Bundesrecht verletzt hätte, als es von einer Überprüfung der Rechtmässigkeit der fürsorgerischen Unterbringung abgesehen hat. Damit brauchte es sich im vorliegenden Verfahren auch nicht zur Frage äussern, ob im Rahmen der Anordnung der fürsorgerischen Unterbringung allenfalls der Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt wurde. Die Beschwerde ist somit abzuweisen.
5.
Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen. Dem Kanton Zug, der in seinem amtlichen Wirkungskreis obsiegt, ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 1'200.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat des Kantons Zug und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 18. Juni 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Nabold