Erwägungen:
1.
1.1. Am 14. September 2013 gab A._ mit seiner mitgeführten Pump-Action Schrotflinte einen Schuss in die Dachunterschicht eines Mehrfamilienhauses in U._/AG ab. Bei der anschliessenden Hausdurchsuchung stellte die Fachstelle SIWAS der Kantonspolizei Aargau eine grosse Anzahl Schusswaffen, Bajonette, Messer, Säbel sowie eine grössere Menge Munition sicher. Am 1. April 2014 verfügte das Departement Volkswirtschaft und Inneres des Kantons Aargau, Fachstelle SIWAS, die vorläufige Beschlagnahme sämtlicher sichergestellten Waffen.
1.2. Mit Urteil vom 10. September 2015 sprach das Bezirksgericht Lenzburg A._ vom Vorwurf der versuchten Gefährdung des Lebens frei. Am 8. Dezember 2015 informierte die Fachstelle SIWAS A._ über ihre Absicht, die vorläufig sichergestellten Gegenstände definitiv zu beschlagnahmen. Zur weiteren Prüfung der definitiven Beschlagnahme beauftragte die Fachstelle SIWAS die Psychiatrischen Dienste Aargau AG (im Folgenden: PDAG), ein fachärztliches psychiatrisches Gutachten zu erstellen. Gestützt auf das Gutachten vom 13. April 2016 verfügte die Fachstelle SIWAS - nach Gewährung des rechtlichen Gehörs - am 19. Mai 2016 die definitive Beschlagnahme der vorläufig sichergestellten Gegenstände, die unter das Waffengesetz fallen.
1.3. Eine gegen diese Verfügung von A._ erhobene Verwaltungsbeschwerde wies der Regierungsrat des Kantons Aargau mit Beschluss vom 1. März 2017 ab, soweit er darauf eintrat. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Aargau mit Urteil vom 20. September 2017 ab.
1.4. Mit Eingabe vom 3. November 2017 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, das angefochtene Urteil des Verwaltungsgerichts vom 20. September 2017 sei aufzuheben und es seien dem Beschwerdeführer die vorläufig sichergestellten Gegenstände, die unter das Waffengesetz fallen, zurückzugeben. Weiter seien die Gebühren für die Einlagerung der vorläufig sichergestellten Gegenstände auf die Staatskasse zu nehmen und dem Beschwerdeführer sei der Betrag von Fr. 1'900.-- für die psychiatrische Begutachtung zu ersetzen. Eventualiter sei die Sache zur erneuten Entscheidung an die Vorinstanz zurückzuweisen.
Auf die Anordnung eines Schriftenwechsels wurde verzichtet.
2.
Die Sache kann aufgrund der offensichtlichen Unbegründetheit der Beschwerde im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG entschieden werden.
3.
3.1. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
3.2. Das Bundesgericht prüft das Bundesrecht von Amtes wegen (Art. 106 Abs. 1 BGG) und mit uneingeschränkter Kognition (Art. 95 lit. a BGG). Dabei untersucht es die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die vom Beschwerdeführer geltend gemacht wurden (Art. 42 Abs. 2 BGG). Die Verletzung von verfassungsmässigen Individualrechten (einschliesslich der Grundrechte) prüft das Bundesgericht nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss Art. 106 Abs. 2 BGG; BGE 142 I 99 E. 1.7.2 S. 106). In der Beschwerde ist daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern verfassungsmässige Individualrechte verletzt worden sein sollen (BGE 142 II 369 E. 2.1 S. 372). Auf bloss allgemein gehaltene, appellatorische Kritik am vorinstanzlichen Entscheid geht das Bundesgericht nicht ein (BGE 141 IV 369 E. 6.3 S. 375).
3.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, sofern sie offensichtlich unrichtig sind oder auf einer anderen Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG).
4.
4.1. Streitgegenstand bildet hier die definitive Einziehung von Waffen im Sinne von Art. 31 Abs. 3 des Bundesgesetzes vom 20. Juni 1997 über Waffen, Waffenzubehör und Munition (Waffengesetz, WG; SR 514.54). Die Vorinstanzen stützen die umstrittene Einziehung beim Beschwerdeführer auf Art. 31 Abs. 3 lit. a in Verbindung mit Art. 8 Abs. 2 lit. c WG.
4.1.1. Gemäss Art. 31 Abs. 1 lit. b WG beschlagnahmt die zuständige Behörde Waffen aus dem Besitz von Personen, die einen Hinderungsgrund nach Art. 8 Abs. 2 WG erfüllen oder die zum Erwerb oder Besitz nicht berechtigt sind. Ein Hinderungsgrund liegt u.a. bei Personen vor, die zur Annahme Anlass geben, dass sie sich selbst oder Dritte mit der Waffe gefährden (Art. 8 Abs. 2 lit. c WG). Das ist namentlich der Fall bei Personen, die an einer geistigen Erkrankung leiden, alkoholabhängig sind oder suizidale Tendenzen aufweisen (Urteil 2C_444/2017 vom 19. Februar 2018 E. 3.2.1 mit Hinweisen). Die beschlagnahmten Gegenstände werden gemäss Art. 31 Abs. 3 lit. a WG definitiv eingezogen, wenn die Gefahr missbräuchlicher Verwendung besteht, insbesondere weil mit solchen Gegenständen Personen bedroht oder verletzt wurden. Für eine solche definitive Einziehung müssen mindestens die Voraussetzungen für eine Beschlagnahme erfüllt sein (Urteil 2A.546/2004 vom 4. Februar 2005 E. 3.3.2). Eine Gefahr missbräuchlicher Verwendung ist in der Regel insbesondere dann zu bejahen, wenn in einem gegebenen Fall auch das Vorliegen eines Hinderungsgrundes gemäss Art. 8 Abs. 2 lit. c WG zu bejahen wäre (vgl. FACINCANI/JENDIS, in: Facincani/Sutter [Hrsg.], Kommentar Waffengesetz, 2017, N. 21 zu Art. 31 WG).
4.1.2. An die Gefährdung gemäss Art. 8 Abs. 2 WG sind praxisgemäss keine allzu hohen Anforderungen zu stellen. Gestützt auf konkrete Gegebenheiten muss jedoch eine sachlich begründbare, überwiegende Wahrscheinlichkeit für eine Selbst- oder Drittgefährdung unter Verwendung einer Waffe vorliegen. Die mit dem Entscheid über den Waffenerwerbsschein betraute Stelle ist dabei nicht an die Einschätzung von Strafverfolgungsbehörden gebunden. Namentlich darf ein strengerer Massstab angelegt werden, wenn es im Rahmen eines verwaltungsrechtlichen Verfahrens darum geht zu beurteilen, ob eine massgebliche Gefahr für eine missbräuchliche Verwendung der Waffe besteht (Urteil 2C_444/2017 vom 19. Februar 2018 E. 3.2.1 mit Hinweisen).
4.2. Die Vorinstanz hat die oben erwähnte Praxis korrekt dargelegt und dazu ausführlich begründet, warum sie die Voraussetzungen von Art. 31 Abs. 3 lit. a i.V.m. Art. 8 Abs. 2 lit. c WG als erfüllt betrachtet.
Sie hat insbesondere festgestellt, gemäss Gutachten der PDAG erweise sich der Verdacht auf ein Abhängigkeitssyndrom von Alkohol mit episodischem Substanzgebrauch als letztlich ebenso nachvollziehbar wie die Folgerung, dass aufgrund der festgestellten Persönlichkeitszüge und des Umgangs des Beschwerdeführers mit seiner Alkoholproblematik auch zukünftig eine von ihm ausgehende Gefährdung nicht ausgeschlossen werden könne. Der Beschwerdeführer habe aufgrund seines Verhaltens am 14. September 2013 (Mitführen einer geladenen und entsicherten Waffe im öffentlichen Raum in stark alkoholisierten Zustand) - unabhängig von den konkreten strafrechtlichen Konsequenzen - ein bedrohliches und gewalttätiges Verhalten an den Tag gelegt. Das Gutachten sei in einer Gesamtbeurteilung zum Schluss gekommen, dass beim Beschwerdeführer in alkoholisiertem Zustand in Konfliktsituationen mit impulsivem sowie bedrohlichen Verhalten gerechnet werden müsse und deshalb eine Gefahr für Dritte bestehe. Insgesamt sei das vom Beschwerdeführer ausgehende Gefährdungspotenzial in schlüssiger Art dargelegt. Zudem habe der Beschwerdeführer schon am 1. August 2002 in der Öffentlichkeit mit einem Karabiner Markiermunition verschossen, was eine Beschlagnahme zur Folge hatte. Mit seinem wiederholt unverantwortlichen Verhalten habe der Beschwerdeführer die Gefahr einer missbräuchlichen Verwendung von Waffen mehrfach manifestiert (vgl. angefochtener Entscheid E. 3.2).
4.3. Die Eingabe des Beschwerdeführers erschöpft sich in einer knapp gehaltenen allgemeinen Kritik an den Ausführungen der Vorinstanz, ohne sich vertieft mit den ausführlichen Erwägungen im angefochtenen Entscheid auseinanderzusetzen. Dass die Vorinstanz den Sachverhalt offensichtlich unrichtig festgestellt habe, rügt er nicht. In tatsächlicher Hinsicht ist somit auf die Feststellungen der Vorinstanz abzustellen (Art. 105 Abs. 1 und 2 BGG).
Soweit der Beschwerdeführer mehrfach eine willkürliche Rechtsanwendung rügt, kann ihm - sofern die Begründungsanforderungen (vgl. E. 3.2 hiervor) überhaupt erfüllt sind - nicht gefolgt werden:
4.3.1. So hat die Vorinstanz - entgegen der Ansicht des Beschwerdeführers - nicht unkommentiert auf das Gutachten der PDAG verwiesen, sondern dieses im Rahmen einer umfassenden Gesamtwürdigung berücksichtigt. Insbesondere kann keine Rede davon sein, die Vorinstanz habe willkürlich eine Suchtproblematik angenommen bzw. Delikte berücksichtigt, die schon Jahre zurück lägen. Ebenso unzutreffend ist der pauschale Vorwurf, es sei willkürlich, ein negatives Gutachten "auf einen Allgemeinplatz" abzustützen, da "bei einem grossen Teil der alkohlkonsumierenden Bevölkerung" die Gefahr von impulsivem und bedrohlichem Verhalten bestehe.
4.3.2. Die Vorinstanz hat sodann zu Recht ausgeführt, dass praxisgemäss (BGE 135 IV 87 E. 2.5 S. 93; 135 I 71 E. 2.10 S. 76) das strafrechtliche Verwertungsverbot gemäss Art. 369 Abs. 7 StGB medizinische Experten nicht daran hindert, entsprechende relevante Vorstrafen sachlich zu berücksichtigen. Inwiefern in diesem Zusammenhang die Berücksichtigung der Schussabgabe mit Markiermunition im Jahr 2002 durch die Gutachter bzw. die Vorinstanzen bundesrechtswidrig sein soll, ist weder ersichtlich noch dargelegt.
4.3.3. Sodann begründet der Beschwerdeführer die Anträge bezüglich Gebühren für die Einlagerung der Gegenstände bzw. Ersatz der Kosten für die psychiatrische Begutachtung mit keinem Wort, weshalb auf diese Anträge nicht einzutreten ist.
4.3.4. Bei diesem Ergebnis ist schliesslich auch der Eventualantrag des Beschwerdeführers, mit welchem er eine Rückweisung an die Vorinstanz verlangt, abzuweisen.
5.
5.1. Nach dem Gesagten ist die Beschwerde im vereinfachten Verfahren gemäss Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann. Zur Begründung wird ergänzend auf die Erwägungen im angefochtenen Urteil hingewiesen (Art. 109 Abs. 3 BGG).
5.2. Der unterliegende Beschwerdeführer wird für das bundesgerichtliche Verfahren kostenpflichtig (Art. 66 Abs. 1 BGG). Es ist keine Parteientschädigung geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Aargau, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 17. Mai 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Winiger