Sachverhalt:
A.
A.a. Am 4. April 2016 meldete sich B.A._ telefonisch bei der Kantonspolizei Aargau und teilte mit, dass es zwischen ihr und ihrem Ehemann A.A._ oft zu verbalen Auseinandersetzungen komme. Eine Polizeipatrouille stellte, nachdem sie A.A._ in U._ angetroffen hatte, dieser sich weigerte sich auszuweisen, etwas aus seinem Fahrzeug behändigte und trotz polizeilicher Aufforderung nicht stehen blieb, einen mit fünf Patronen geladenen Revolver sicher. Die Polizisten sahen sich anlässlich dieser Kontrolle gezwungen, A.A._ in Handschellen zu legen. In den Räumlichkeiten einer Zweitliegenschaft der Eheleute A._ in U._ befand sich zudem ein ungeladenes Sturmgewehr (Kalaschnikov AK 47). Ausserdem wurden im Beisein von A.A._ polizeilich zwei sich in einem Bankschliessfach befindliche Pistolen sichergestellt. Sämtliche Waffen inkl. Munition wurden der Fachstelle des Kantons Aargau für Sicherheit/Waffen/Sprengstoff (SIWAS) übergeben. Zudem wurde gegenüber A.A._ eine 10-tägige Wegweisung vom ehelichen Wohnsitz in V._ ausgesprochen. Aufgrund telefonischer Meldungen von B.A._ am 6. und 10. Mai 2016 sowie 5. August 2016 rückte die Polizei wiederholt zum ehelichen Wohnsitz in V._ aus, wobei A.A._ - weil seine Ehefrau am 5. August 2016 angab, von ihm mit Fusstritten traktiert worden zu sein - für sieben Tage vom ehelichen Wohnsitz weggewiesen wurde.
A.b. Mit rechtskräftigem Urteil des Bezirksgerichts Zofingen vom 11. Dezember 2017 wurde A.A._ wegen Übertretung bezüglich Waffengesetzgebung (Transport einer Feuerwaffe, ohne Waffe und Munition zu trennen) schuldig gesprochen, wobei aufgrund eines leichten Falles von einer Bestrafung abgesehen wurde. Hinsichtlich des Vorwurfs des Vergehens gegen das Waffengesetz (Tragen einer Waffe in der Öffentlichkeit ohne Waffentragbewilligung) wurde A.A._ dagegen freigesprochen. Im Rahmen von weiteren Abklärungen der Fachstelle SIWAS ergab sich, dass A.A._ anlässlich der Ausstellung einer Parkbusse am 5. Januar 2016 in Basel-Stadt gegenüber eine Polizeiassistentin tätlich geworden war.
B.
Mit Verfügung vom 10. April 2018 beschlagnahmte die Fachstelle SIWAS gestützt auf Art. 31 Abs. 1 lit. b Waffengesetz (Bundesgesetz vom 20. Juni 1997 über Waffen, Waffenzubehör und Munition; WG; SR 514.54) die vorgenannten Waffen inkl. Waffenzubehör und Munition und ordnete zwecks Abklärung der Waffentauglichkeit von A.A._ die Erstellung eines fachärztlichen, psychiatrischen Gutachtens durch die B._ AG an. Gestützt auf das entsprechende Gutachten vom 10. Oktober 2018 verfügte die SIWAS am 10. Dezember 2018 gemäss <ref-law> die definitive Einziehung der beschlagnahmten Waffen und Munition. Die dagegen eingelegten Rechtsmittel blieben erfolglos (Beschluss Regierungsrat des Kantons Aargau vom 29. April 2020; Urteil Verwaltungsgericht des Kantons Aargau vom 9. Februar 2021).
C.
Mit Eingabe vom 11. März 2021 erhebt A.A._ (Beschwerdeführer) beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen das Urteil des Verwaltungsgerichts des Kantons Aargau vom 9. Februar 2021 und beantragt die Rückerstattung sämtlicher beschlagnahmter Waffen. Mit einer weiteren Eingabe vom 15. März 2021, diesmal vertreten durch einen Rechtsanwalt, ergänzt der Beschwerdeführer seine Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung sowohl des vorinstanzlichen Urteils wie auch des genannten Regierungsratsbeschlusses. Die sichergestellten Waffen gemäss der der Verfügung "der Beschwerdegegnerin vom 10. Dezember 2019" [recte: 2018] beiliegenden Liste seien unverzüglich dem Beschwerdeführer auszuhändigen.
Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Angefochten ist das letztinstanzliche, verfahrensabschliessende Urteil eines kantonalen oberen Gerichts in einer Angelegenheit des öffentlichen Rechts, wobei kein Ausschlussgrund gemäss <ref-law> greift, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten diesbezüglich zulässig ist (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG). Da die Beschwerde in öffentlich-rechtlichen Angelegenheiten die übrigen Sachurteilsvoraussetzungen grundsätzlich erfüllt, ist auf diese, unter Vorbehalt von E. 1.2, einzutreten (Art. 42 Abs. 1 und 2, Art. 89 Abs. 1, Art. 100 Abs. 1 BGG).
1.2. Aufgrund des Devolutiveffekts bildet Anfechtungsgegenstand vor Bundesgericht ausschliesslich das letztinstanzliche, kantonale Urteil, welches die vorausgegangenen Verfügungen und Beschlüsse ersetzt. Letztere gelten vor Bundesgericht als mitangefochten und können nicht eigenständig angefochten werden, weshalb auf den Antrag, den Regierungsratsbeschluss vom 29. April 2020 aufzuheben, nicht einzutreten ist (<ref-ruling> E. 1.2).
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Rechtsverletzungen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht, d.h. es ist klar und detailliert anhand der Erwägungen des angefochtenen Urteils aufzuzeigen, inwiefern die entsprechenden Rechtsnormen verletzt worden sein sollen (<ref-law>; <ref-ruling> E. 2.2).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Eine Berichtigung oder Ergänzung der vorinstanzlichen Sachverhaltsfeststellung ist von Amtes wegen (<ref-law>) oder auf Rüge hin (<ref-law>) möglich, wobei das Bundesgericht nur bei einer willkürlichen oder rechtsverletzenden vorinstanzlichen Sachverhaltsfeststellung, deren Korrektur entscheidrelevant sein kann, eingreift (Art. 95, <ref-law>; <ref-ruling> E. 1.6). Zur Sachverhaltsfeststellung gehört auch die Beweiswürdigung, welche sich als willkürlich erweist, wenn sie offensichtlich unhaltbar oder aktenwidrig ist, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Entsprechende Rügen unterstehen ebenfalls der qualifizierten Rüge und Begründungspflicht (<ref-law>). Auf rein appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung tritt das Bundesgericht nicht ein (vgl. E. 2.1 oben; <ref-ruling> E. 2.3; <ref-ruling> E. 10.1).
3.
3.1. Der Beschwerdeführer rügt eine Verletzung des Beschleunigungsgebots. Er macht im Wesentlichen geltend, das Gutachten der B._ AG sei am 10. Oktober 2018 erstellt gewesen und seitdem sei der Ball bei den Behörden gelegen. Ausserdem stört sich der Beschwerdeführer an der Verfahrensdauer des Beschwerdeverfahrens vor dem Regierungsrat.
Die Vorinstanz hat im angefochtenen Urteil (E. 1.3) die einzelnen Schritte des Beschwerdeverfahrens vor dem Regierungsrat aufgeführt und mit Verweis auf das bundesgerichtliche Urteil 12T_3/2007 vom 11. Dezember 2007 festgehalten, dass eine dort beanstandete, inaktive Periode von 28 Monaten vorliegend nicht auszumachen sei.
3.2. Das in <ref-law> verankerte Beschleunigungsgebot garantiert in Verfahren vor Gerichts- und Verwaltungsinstanzen den Anspruch auf Beurteilung innert angemessener Frist, wobei die Angemessenheit unter Würdigung sämtlicher konkreter Umstände zu prüfen ist und insbesondere Kriterien wie die Art des Verfahrens, die Komplexität und der Umfang der Streitfragen, die Bedeutung des Verfahrens für die Beteiligten und das Verhalten der Verfahrensbeteiligten zu berücksichtigen sind (<ref-ruling> E. 7.1; <ref-ruling> E. 4.4). Im Urteil 12T_3/2007 vom 11. Dezember 2007 E. 4.2 hat das Bundesgericht eine Periode von 28 Monaten, während welcher ein Fall beim Gericht lag und keinerlei nennenswerte weitere Aktivitäten zu verzeichnen waren, wobei das Urteil sogar erst nach drei Jahren zu erwarten war, als Verletzung des Beschleunigungsgebots erachtet. In einem weiteren Urteil wurde die Dauer von 23 Monaten ab Abschluss des Schriftenwechsels bis zur Urteilsfällung als zu lange qualifiziert (Urteil 12T_4/2017 vom 26. Juni 2018 E. 3.7).
3.3. Indem der Beschwerdeführer geltend macht, ab dem 10. Oktober 2018, dem Datum des Gutachtens der B._ AG, sei der Ball bei den Behörden gelegen, blendet er aus, dass nach diesem Datum innert zwei Monaten (10. Dezember 2018) und damit zügig die Einziehungsverfügung der SIWAS erging. Anschliessend legte der Beschwerdeführer beim Regierungsrat Beschwerde ein. Ab dem Abschluss des diesbezüglichen Schriftenwechsels (2. April 2019) bis zum regierungsrätlichen Beschluss (29. April 2020) verging rund ein Jahr. Auch wenn die vorgenannten bundesgerichtlichen Urteile andere Rechtsgebiete und Umstände betrafen, ist eine Dauer von einem Jahr für die Entscheidfindung in Anbetracht der vorliegenden Materie nicht zu beanstanden. Angesichts der konkreten Umstände und der sich stellenden Rechtsfragen war der beim Regierungsrat hängige Fall nicht dermassen simpel, dass ohne Weiteres ein Beschluss innert weniger Monate zu erwarten war. Zudem drängte sich, im Gegensatz zum Urteil 12T_3/2007 vom 11. Dezember 2007 E. 4.4, aufgrund fehlender, besonderer Umstände bzw. mangels besonderer Dringlichkeit gerade keine prioritäre Behandlung ausserhalb der Reihenfolge des Beschwerdeeingangs auf. Insbesondere für den Beschwerdeführer hatte das Verfahren objektiv gesehen keine besondere Bedeutung. Die gesamte, rund 3-jährige Verfahrensdauer von der Beschlagnahmeverfügung (10. April 2018) bis zum angefochtenen Urteil (9. Februar 2021) hat der Beschwerdeführer denn auch weder beanstandet noch ist diesbezüglich praxisgemäss eine Verletzung des Beschleunigungsgebots auszumachen (vgl. Urteil 2C_562/2020 vom 21. Mai 2021 E. 3.4). Die Rüge der Verletzung des Beschleunigungsgebots erweist sich damit als unbegründet, soweit sie unter dem Gesichtspunkt von Treu und Glauben (<ref-law>) überhaupt berechtigt ist.
4.
4.1. Der Beschwerdeführer macht weiter geltend, er habe anlässlich der Begutachtung im Fragebogen bezüglich Depressivität das Kreuz am falschen Ort gesetzt (sprich Depressivität fälschlich bejaht), was nicht korrigiert worden sei, und erblickt darin eine willkürliche Sachverhaltsfeststellung. Dieser Umstand ist jedoch, falls er überhaupt zutreffend sein sollte, nicht entscheidrelevant (vgl. E. 5.6 unten), weshalb sich schon deshalb weitere diesbezügliche Ausführungen erübrigen.
4.2.
4.2.1. Im Weiteren macht der Beschwerdeführer geltend, das psychiatrische Gutachten der B._ AG genüge den an ein solches Gutachten zu stellenden Anforderungen nicht, weshalb es nicht als Grundlage für die Einziehung der betroffenen Waffen dienen könne.
4.2.2. Ob ein Gericht die in einem Gutachten oder Fachbericht enthaltenen Erörterungen für überzeugend hält oder nicht und ob es dementsprechend den Schlussfolgerungen der Experten folgen soll, ist eine Frage der Beweiswürdigung, in die das Bundesgericht nur eingreift, sofern sie offensichtlich unrichtig ist (vgl. Art. 105 Abs. 1 und <ref-law>; Urteil 1C_320/2017 vom 9. Januar 2018 E. 2.3). Das Gericht darf in Fachfragen nicht ohne triftige Gründe vom Gutachten abweichen (<ref-ruling> E. 3; <ref-ruling> E. 5). Dies ist nur zulässig, wenn die "Glaubwürdigkeit" des Gutachtens durch die Umstände ernsthaft erschüttert ist (<ref-ruling> E. 3; <ref-ruling> E. 4.4.1). Erscheint dem Gericht die Schlüssigkeit eines Gutachtens in wesentlichen Punkten zweifelhaft, kann ein Abstellen darauf gegen das Verbot willkürlicher Beweiswürdigung (<ref-law>) verstossen (<ref-ruling> E. 3.2; <ref-ruling> E. 5.4.2).
4.2.3. Inwiefern das genannte Gutachten konkret an entsprechenden Mängeln leiden soll, legt der Beschwerdeführer, abgesehen vom unter E. 4.1 angeführten, nicht relevanten Einwand, nicht dar, und ist auch nicht ersichtlich. Vielmehr übt er appellatorische Kritik am Gutachten, worauf nicht einzugehen ist.
4.3. Zudem beanstandet der Beschwerdeführer verschiedentlich vermeintliche Feststellungen der Vorinstanz, wobei sich seine diesbezüglich Kritik auf die Rechtsanwendung und nicht die Sachverhaltsfeststellung bezieht (etwa in dem er der Vorinstanz vorwirft, die unbestrittenen Handlungen des Beschwerdeführers den Gewalthandlungen mit einer Waffe gleichzusetzen, um die - vermeintlich entsprechende - Anforderung von <ref-law> zu erfüllen).
4.4. Die Rügen der willkürlichen Sachverhaltsfeststellung bzw. Beweiswürdigung erweisen sich somit als unbegründet.
5.
5.1. Im Weiteren rügt der Beschwerdeführer eine Verletzung der Eigentumsgarantie (<ref-law>). Zwar sei mit dem WG entsprechend <ref-law> eine genügende gesetzliche Grundlage für eine Grundrechtseinschränkung gegeben, doch liege in casu kein genügendes öffentliches Interesse für die Einziehung der Waffen vor und die Verhältnismässigkeit sei nicht gegeben. Die Voraussetzungen für einen Grundrechtseingriff gemäss <ref-law> seien damit nicht erfüllt.
5.2. Gemäss <ref-law> ist das Eigentum gewährleistet und Enteignungen sowie Eigentumsbeschränkungen, welche einer Enteignung gleichkommen, werden voll entschädigt. Das WG und die Praxis dazu berücksichtigen allerdings bereits die Anliegen der Eigentumsgarantie (Urteil 2C_1271/2012 vom 6. Mai 2013 E. 3.6, mit Verweis auf <ref-ruling> E. 3.3.1 ff.). Dabei dient das WG dem die Eigentumsgarantie einschränkenden, öffentlichen Interesse, die missbräuchliche Verwendung von unter anderem Waffen und Munition zu bekämpfen und damit dem Schutz der öffentlichen Sicherheit und der Sicherheit von Personen und Gütern (bzw. dem Schutz der Polizeigüter). Dies kommt auch in <ref-law> zum Ausdruck, auf den sich das WG unter anderem abstützt (Urteile 2C_444/2017 vom 19. Februar 2018 E. 3.2.1; 2A.546/2004 vom 4. Februar 2005 E. 3.2.2; 2A.294/2003 vom 17. Juni 2004 E. 3.2).
5.3. Die konkreten Einwände, welche der Beschwerdeführer vorbringt, richten sich denn auch gegen die Anwendung des WG durch die Vorinstanz. Die Voraussetzungen für die Anwendung von Art. 8 Abs. 2 und Art. 31 Abs. 3 WG seien nicht gegeben. Damit rügt der Beschwerdeführer sinngemäss die Verletzung dieser Vorschriften.
5.4.
5.4.1. Wer eine Waffe oder einen wesentlichen Waffenbestandteil erwerben möchte, benötigt einen Waffenerwerbsschein (<ref-law>). Dieser wird Personen verweigert, welche zur Annahme Anlass geben, dass sie sich selbst oder Dritte mit der Waffe gefährden (<ref-law>). Dieser Hinderungsgrund bringt die Gefahr der missbräuchlichen Verwendung von Waffen zum Ausdruck (Urteile 2C_945/2017 vom 17. Mai 2018 E. 4.1.1; 2C_444/2017 vom 19. Februar 2018 E. 3.2). Personen, die Waffen besitzen wollen, müssen mit Blick auf die erhöhten Gefahren, die von diesen Gegenständen ausgehen, besonders zuverlässig sein (Urteile 2C_15/2019 vom 26. Juli 2019 E. 4.4 mit Hinweisen; 2C_444/2017 vom 19. Februar 2018 E. 3.2.1 mit Hinweisen). Das ist namentlich nicht der Fall bei Personen, die an einer psychischen oder geistigen Erkrankung leiden, alkoholabhängig sind oder suizidale Tendenzen aufweisen. Ob Anlass zur Annahme einer Selbst- oder Drittgefährdung im Sinne von <ref-law> besteht, ist entscheidend nach dem Verhalten der betroffenen Person insgesamt und unter Würdigung aller relevanter Umstände zu beurteilen (Urteile 2C_15/2019 vom 26. Juli 2019 E. 4.4 f. mit Hinweisen; 2C_444/2017 vom 19. Februar 2018 E. 3.2 mit Hinweisen). Rechtsprechungsgemäss können auch agressives Verhalten gegenüber Behörden, Gewaltschutzverfahren (häusliche Gewalt) und episodisch auftretende heftige Ausbrüche von Wut und Hass eine Gefahr missbräuchlicher Verwendung begründen (vgl. Urteile 2C_444/2017 vom 19. Februar 2018 E. 4.3.4; 2A.358/2000 vom 30. März 2001 E. 5.c).
5.4.2. Die zuständige Behörde hat eine Prognose zum Risiko der missbräuchlichen Verwendung der Waffe zu treffen, wobei an die von der Person ausgehenden Gefahr keine allzu hohen Anforderungen zu stellen sind. Gestützt auf konkrete Gegebenheiten muss jedoch eine sachliche begründbare, überwiegende Wahrscheinlichkeit für eine Selbst- oder Drittgefährdung mittels Verwendung einer Waffe vorliegen (Urteile 2C_555/2020 vom 21. Oktober 2020 E. 3.3.1; 2C_15/2019 vom 26. Juli 2019 E. 4.5; 2C_444/2017 vom 19. Februar 2018 E. 3.2.1. mit Hinweisen). Die definitive Einziehung von (unter anderem) Waffen und Munition setzt gemäss <ref-law> voraus, dass die beschriebene Gefahr einer missbräuchlichen Verwendung fortbesteht (Urteil 2C_15/2019 vom 26. Juli 2019 E. 4.1; 2C_945/2017 vom 17. Mai 2018 E. 4.1.1). Bezüglich der Prognose der zukünftigen missbräuchlichen Verwendung (der Waffe) ist die Behörde nicht abhängig von strafrechtlichen Erkenntnissen, denn sie hat auch die öffentliche Ordnung und Sicherheit im Blick. Deshalb kann sie auch einen strengeren Massstab anlegen als in einem strafrechtlichen Kontext (Urteile 2C_444/2017 vom 19. Februar E. 3.2.1 mit Hinweisen; 2C_1163/2014 vom 18. Mai 2015 E. 3.3; 2C_93/2007 vom 3. September 2007 E. 5.2). Jedenfalls ist der Begriff der Gefahr missbräuchlicher Verwendung gemäss <ref-law> weit zu verstehen (Urteil 2C_1271/2012 vom 6. Mai 2013 E. 3.5 mit Hinweisen).
5.4.3. Sowohl beim Hinderungsgrund der Selbst- oder Drittgefährdung (<ref-law>) als auch bezüglich der Gefahr missbräuchlicher Verwendung (<ref-law>) handelt es sich um bundesrechtliche Begriffe, deren Anwendung das Bundesgericht entgegen dem Beschwerdeführer mit freier und nicht bloss mit auf Willkür beschränkter Kognition prüft (<ref-law>; vgl. Urteil 2C_444/2017 vom 19. Februar 2018 E. 3.2.2). Allerdings verfügen die zuständigen Behörden aufgrund der - wie vorliegend - unbestimmten Rechtsbegriffe über einen weiten Ermessensspielraum, weshalb sich das Bundesgericht bei der Überprüfung eine gewisse Zurückhaltung auferlegt (Urteile 2C_555/2020 vom 21. Oktober 2020 E. 3.3.1; 2C_15/2019 vom 26. Juli 2019 E.4.5; 2C_444/2017 vom 19. Februar 2018 E. 3.2.2).
5.5. Die Vorinstanz hat bezüglich der Gefahr einer zukünftigen, missbräuchlichen Verwendung im Wesentlichen erwogen, der Beschwerdeführer habe sich bei den Vorfällen häuslicher Gewalt (vgl. lit. A.a oben) renitent und uneinsichtig verhalten. Anlässlich des Vorfalls vom 5. August 2016 habe er beim Kleiderpacken (unbestrittenermassen) gegen die Hand eines Polizisten geschlagen und die Polizisten zur Seite gedrückt. Anlässlich der Ausstellung einer Parkbusse in Basel am 5. Januar 2016 habe er eine Polizeiassistentin gestossen und festgehalten. Das Gutachten der B._ AG bescheinige dem Beschwerdeführer unter anderem eine erhöhte spontane Aggressivität. Die bei ihm festgestellten, akzentuierten Persönlichkeitszüge mit insbesondere rigidem Denken führten zu kognitiven Verzerrungen, die Folgen wie deutliche Wut- und Ärgerreaktionen gegenüber Dritten hätten. Die Einsichtsfähigkeit des Beschwerdeführers sei beschränkt. Damit bestehe unter anderem eine hinreichende Wahrscheinlichkeit für eine Drittgefährdung unter Verwendung einer Waffe, weshalb die betroffenen Waffen definitiv einzuziehen seien (vgl. angefochtenes Urteil E. 4.2).
5.6. Es trifft zu, dass der Beschwerdeführer bis anhin niemanden mit einer Waffe bedroht oder mit einer Waffe um sich oder in die Luft geschossen hat. Entgegen dem Beschwerdeführer sind solche Handlungen zwar ein starker Hinweis auf eine fortbestehende Gefahr missbräuchlicher Verwendung und insbesondere in der Vergangenheit erfolgte Bedrohungssituationen lassen eine solche Gefahr vermuten (vgl. <ref-law>); derartige Handlungen sind jedoch keine Voraussetzung für eine definitive Einziehung. Auch hilft es dem Beschwerdeführer nicht, dass sein Strafregisterauszug bloss eine Verurteilung aufweist. Die Vorinstanz hat zahlreiche andere Elemente berücksichtigt, wobei auch ein einziger Strafregistereintrag nicht positiv, sondern negativ ins Gewicht fällt. Auch der Einwand, die Vorinstanz setze die diversen Handlungen des Beschwerdeführers der Annahme der Gewalthandlung mit einer Waffe gleich, zielt ins Leere. Wenn der Beschwerdeführer damit ausdrücken wollte, die Vorinstanz habe zu Unrecht die fortbestehende Gefahr einer Drittgefährdung mit einer Waffe respektive missbräuchlichen Verwendung einer Waffe prognostiziert, so ist ihm nicht zuzustimmen. Aufgrund der verschiedenen Vorkommnisse und des festgestellten, erheblichen Aggressionspotentials des Beschwerdeführers durfte die Vorinstanz bundesrechtskonform zum Schluss gelangen, es sei von einer ungünstigen Prognose auszugehen. Dass es darüber hinaus suizidaler Tendenzen bzw. Depressivität bedürfte, ist für diesen Schluss nicht erforderlich.
5.7. Die definitive Einziehung der betroffenen Waffen und Munition ist vorliegend auch nicht unverhältnismässig. Sie ist geeignet, die Gefahr einer zukünftigen, missbräuchlichen Verwendung dieser Gegenstände zu bannen und ein milderes Mittel steht dafür nicht zur Verfügung. Auch stellt die Einziehung im Verhältnis zum Ziel, nämlich primär der Gewährleistung der öffentlichen Sicherheit und Ordnung, ein vernünftiges Mittel dar und private Interessen, welche die Einziehung unzumutbar erscheinen lassen, sind vorliegend nicht ersichtlich.
5.8. Die Vorinstanz hat demnach insbesondere Art. 8 Abs. 2 lit. c und <ref-law> bundesrechtskonform angewendet. Auch steht das angefochtene Urteil im Einklang mit Art. 26 und <ref-law>.
6.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich damit als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten des bundesgerichtlichen Verfahrens (Art. 65, Art. 66 Abs. 1 BGG). Der Regierungsrat des Kantons Aargau hat keinen Anspruch auf Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten des bundesgerichtlichen Verfahrens von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Aargau, 3. Kammer, dem Departement Volkswirtschaft und Inneres des Kantons Aargau und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 3. September 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Quinto