Beschlagnahme von Waffen, hat sich ergeben:
A.- Aufgrund einer bei der Kantonspolizei Thurgau eingegangenen Meldung und daran anschliessender Ermittlungen ergab sich, dass am 29. August und 1. September 1999, jeweils in den nächtlichen Morgenstunden, auf dem Hof von R._ geschossen worden war. Dieser wurde am 1. September 1999 um etwa 17.30 Uhr polizeilich angehalten und dazu befragt, wobei er aussagte, er habe mit einer Rebbergpistole Füchse vertreiben wollen. Im Verlauf der Befragung beschimpfte R._ einen Polizeibeamten und schloss sich schliesslich in seinem Personenwagen ein. Auf Weisung des beigezogenen Vizestatthalters des Bezirksamts Weinfelden wurde er gewaltsam aus dem Auto herausgeholt; daran anschliessend fand eine Durchsuchung seines Hofes statt, bei welcher mehrere Waffen und Waffenbestandteile, namentlich zwei Rebbergpistolen "Record", eine Pistole SIG Sauer 228, ein Revolver "Smith & Wesson" und eine Signalpistole "Röhm", sowie Munition beschlagnahmt wurden. Der ebenfalls beigezogene Bezirksarzt ordnete in der Folge an, R._ sei dringlich fürsorgerisch die Freiheit zu entziehen. Mit Entscheid der zuständigen Vormundschaftsbehörde vom 13./14. September 1999 wurde R._ aus dem fürsorgerischen Freiheitsentzug wieder entlassen.
Am 6./10. September 1999 traf das Bezirksamt Weinfelden für die beschlagnahmten Waffen, Waffenbestandteile und Munition eine förmliche Beschlagnahmeverfügung, worin es die definitive Einziehung der beschlagnahmten Gegenstände anordnete. Dagegen führte R._ erfolglos Rekurs beim Departement für Justiz und Sicherheit sowie beim Verwaltungsgericht des Kantons Thurgau.
B.- Mit Verwaltungsgerichtsbeschwerde vom 11. August 2000 an das Bundesgericht beantragt R._, den Entscheid des Verwaltungsgerichts vom 15. März 2000 aufzuheben und das Bezirksamt Weinfelden anzuweisen, die beschlagnahmten Gegenstände unverzüglich zurückzugeben; eventuell sei die Angelegenheit an die kantonalen Instanzen zurückzuweisen.
Das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau schliessen auf Abweisung der Beschwerde. Das Bezirksamt Weinfelden hält an der Einziehung fest, ohne ein Rechtsbegehren zu stellen. Ebenfalls ohne förmlichen Antrag hat sich das Eidgenössische Justiz- und Polizeidepartement zur Sache geäussert.

Das Bundesgericht zieht in Erwägung:
1.- a) Nach Art. 97 OG in Verbindung mit <ref-law> beurteilt das Bundesgericht Verwaltungsgerichtsbeschwerden gegen Anordnungen im Einzelfall, die sich auf öffentliches Recht des Bundes stützen. Die im vorliegenden Fall getroffene Beschlagnahme- bzw. Einziehungsverfügung stützt sich auf das Bundesgesetz vom 20. Juni 1997 über Waffen, Waffenzubehör und Munition (Waffengesetz, WG; SR 514. 54), mithin auf öffentliches Recht des Bundes. Ein Ausschlussgrund gemäss Art. 99-102 OG besteht nicht. Der angefochtene Entscheid und die ihm zugrunde liegende Verfügung greifen in die Eigentums- bzw. Besitzesrechte des Beschwerdeführers ein, welcher als direkter Adressat beider Hoheitsakte gemäss Art. 103 lit. a OG zur Beschwerde legitimiert ist. Auf die frist- und formgerecht eingereichte Verwaltungsgerichtsbeschwerde ist daher einzutreten.
Aus dem Recht zu weisen ist jedoch die vom Beschwerdeführer selbst verfasste Eingabe vom 25. Januar 2001, ist diese doch nach Ablauf der Beschwerdefrist, und ohne dass der Beschwerdeführer um einen zweiten Schriftenwechsel ersucht hätte bzw. ein solcher vom Bundesgericht angeordnet worden wäre, eingereicht worden.
b) Streitobjekt im vorliegenden Verfahren ist einzig die Frage der Beschlagnahme bzw. Einziehung von Waffen, Waffenzubehör und Munition des Beschwerdeführers. Es ist ausschliesslich die Vereinbarkeit dieser Massnahmen mit Bundesrecht zu prüfen. Was der Beschwerdeführer darüber hinaus geltend macht, ist nicht von Belang; namentlich braucht hier nicht über die Rechtmässigkeit des angeordneten fürsorgerischen Freiheitsentzuges entschieden zu werden.
c) Im Verfahren der Verwaltungsgerichtsbeschwerde überprüft das Bundesgericht den angefochtenen Entscheid auf Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens. Es ist an die Feststellung des Sachverhaltes gebunden, wenn eine richterliche Behörde als Vorinstanz diesen nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erhoben hat (vgl. Art. 104 und 105 OG).
Beim Verwaltungsgericht des Kantons Thurgau handelt es sich um eine richterliche Behörde, weshalb das Bundesgericht dessen Sachverhaltsfeststellung nur unter diesen engen Voraussetzungen überprüfen kann.
2.- Der Beschwerdeführer ist der Ansicht, das Verwaltungsgericht habe den Sachverhalt unvollständig bzw. offensichtlich unrichtig festgestellt und seinen Anspruch auf rechtliches Gehör verletzt, indem es verschiedene angebotene Beweise nicht abgenommen, namentlich den Chef der Jagd- und Fischereiverwaltung des Kantons Thurgau nicht als Zeugen einvernommen habe. Das Verwaltungsgericht stützt sein Urteil indessen auf die vorhandenen Akten und die darin liegenden verschiedenen Protokolle und weiteren Schriftstücke. Seine Feststellungen stimmen damit überein, weshalb sie jedenfalls nicht offensichtlich unrichtig sind. Es ist auch nicht ersichtlich, dass die Feststellungen unter Verletzung wesentlicher Verfahrensbestimmungen zustande gekommen wären. Was die beantragten Beweisabnahmen betrifft, so vermag der Beschwerdeführer im Wesentlichen nicht darzutun, dass diese die Sachverhaltsfeststellungen entscheidend beeinflussen würden. So ist teilweise unklar, welche Erhebungen, insbesondere zum Geisteszustand des Beschwerdeführers, das Verwaltungsgericht denn noch hätte vornehmen sollen. Im Hinblick auf die Einvernahme des Chefs der Jagd- und Fischereiverwaltung macht der Beschwerdeführer geltend, dieser habe ihm mitgeteilt, es bestehe gegenüber Füchsen ein Selbsthilferecht durch Waffengebrauch. In den Akten befindet sich jedoch ein Schreiben des fraglichen Behördenvertreters, worin dieser zwar bestätigt, den Beschwerdeführer über die geltende Rechtsordnung aufgeklärt, dabei aber, soweit er sich erinnere, festgehalten zu haben, der Beschwerdeführer könne das Selbsthilferecht nicht beanspruchen, da er weder Bedrohung noch Schaden durch Füchse geltend mache. Es ist nicht ersichtlich, weshalb das Verwaltungsgericht nicht auf diese schriftliche Äusserung abstellen durfte. Unter diesen Umständen ist die Sachverhaltsfeststellung des Verwaltungsgerichts nicht zu beanstanden und das Bundesgericht daran gebunden.
3.- a) Der Beschwerdeführer macht geltend, der Vizestatthalter des Bezirksamts Weinfelden, welcher die Beschlagnahme und Einziehung seiner Gegenstände verfügt habe, sei befangen, habe er doch bereits früher einmal Waffen des Beschwerdeführers beschlagnahmt, später aber wieder herausgeben müssen. Auch sein übriges Verhalten belege die Befangenheit.
b) Es kann offen bleiben, inwieweit die tatsächlichen Behauptungen des Beschwerdeführers, die vom VizeBezirksstatthalter zumindest teilweise bestritten werden, zutreffen oder nicht. Jedenfalls handelte dieser nicht als Richter, sondern als Organ der Verwaltung. Die für Gerichtspersonen geltenden Art. 58 aBV bzw. <ref-law> und Art. 6 EMRK finden daher keine Anwendung. Wann Mitglieder einer Administrativbehörde in den Ausstand zu treten haben, bestimmt sich ausschliesslich nach dem anwendbaren Verfahrensrecht und nach den aus Art. 4 aBV bzw. Art. 8 Abs. 1 und 29 Abs. 1 BV herzuleitenden Grundsätzen. Nach der bundesgerichtlichen Praxis haben Behördenmitglieder unmittelbar von Verfassungs wegen in der Regel nur dann in den Ausstand zu treten, wenn sie an der zu behandelnden Sache ein persönliches Interesse haben; ohne dass solche persönlichen Interessen vorliegen, kann ein Ausstandsgrund ausnahmsweise auch dann gegeben sein, wenn das Behördenmitglied zu einem früheren Zeitpunkt gegenüber einem jetzigen Verfahrensbeteiligten seine persönliche Geringschätzung oder Abneigung zum Ausdruck gebracht hat (<ref-ruling> E. 3; Urteil des Bundesgerichts vom 14. Februar 1997, in ZBl 99/1998 289 E. 3a-c; je mit Hinweisen; vgl. ebenfalls ZBl 100/1999 76 f.). Auch <ref-law>, welcher in lit. d immerhin den allgemeinen Ausstandsgrund der Befangenheit vorsieht, geht nicht darüber hinaus (vgl. <ref-ruling> E. 3f).
c) Dass der Vize-Bezirksstatthalter eventuell bereits einmal in ähnlichem Zusammenhang gegen den Beschwerdeführer tätig gewesen war, vermag für sich allein noch keinen Ausstandsgrund zu schaffen. Selbst bei Gerichten besteht kein Anschein der Befangenheit allein deshalb, weil sie wiederholt gegenüber denselben Personen gleichartige oder ähnliche Entscheide fällen müssen. Der Vize-Bezirkstatthalter verfolgte keine persönlichen Interessen. Sodann ist nicht ersichtlich, inwiefern aus seinem Verhalten auf Befangenheit geschlossen werden muss; namentlich gibt es keine Anhaltspunkte dafür, dass er jemals vorweg gegenüber dem Beschwerdeführer seine persönliche Geringschätzung oder Abneigung zum Ausdruck gebracht hätte. Dieser hat die behördliche Gewaltanwendung vielmehr seinem eigenen unkooperativen, ja sogar renitenten Verhalten zuzuschreiben.
4.- a) Gemäss <ref-law> gelten als Waffen Geräte, mit denen durch eine Treibladung Geschosse abgegeben werden können, oder Gegenstände, die sich zu solchen Geräten umbauen lassen (Hand- und Faustfeuerwaffen). Charakteristisch sind mithin die Möglichkeit, mit dem fraglichen Gegenstand ein Geschoss abzugeben, sowie der Umstand, dass dieses Geschoss durch eine Treibladung ausgestossen wird (vgl. Hans Wüst, Schweizer Waffenrecht, Zürich 1999, S. 187 ff. und 194 f.). Als Munition gilt Schiessmaterial mit einer Treibladung, deren Energie durch Zündung in einer Hand- oder einer Faustfeuerwaffe auf ein Geschoss übertragen wird (<ref-law>).
b) Unbestrittenermassen fallen die Pistole SIG Saurer 228 und der Revolver "Smith & Wesson" des Beschwerdeführers mit ihrer jeweiligen Munition in den Anwendungsbereich des Waffengesetzes. Wie das Eidgenössische Justiz- und Polizeidepartement in seiner Stellungnahme an das Bundesgericht ausführt, trifft dies aber entgegen der Ansicht des Beschwerdeführers auch für die beschlagnahmten Rebbergpistolen und die Signalpistole "Röhm" zu.
Bei den Rebbergpistolen handelt es sich um Schreckschusspistolen, die vorwiegend im Rebbau zwecks Verscheuchung von Vögeln eingesetzt werden. Eine Ausnahme vom Anwendungsbereich des Waffengesetzes kommt bei Schreckschusspistolen vom Gesetzeszweck her nur dann in Frage, wenn sie einen verschlossenen Lauf aufweisen und über keine Abschussvorrichtung für pyrotechnische Geschosse verfügen. Die Munition für Schreckschusspistolen besteht in der Regel aus Geschossen, die mittels einer Treibladung in die Luft geschossen werden und dort, zwecks Erzeugung eines Knalls, explodieren.
Das Gesetz beschränkt den Begriff des Geschosses nicht auf harte Projektile, sondern erfasst jede Art von Projektil, das durch eine Treibladung abgegeben werden kann.
Damit gelten im Sinne von <ref-law> auch Leucht- oder Knallpatronen als Geschosse.
Die Rebbergpistolen des Beschwerdeführers haben keinen Verschluss. Dieser zählt bei Pistolen zwar grundsätzlich zu den wesentlichen Waffenbestandteilen (vgl. <ref-law> in Verbindung mit Art. 5 lit. a Ziff. 2 der Verordnung vom 21. September 1998 über Waffen, Waffenzubehör und Munition, Waffenverordnung, WV; SR 514. 541). Weder das Gesetz noch die Verordnung schreiben jedoch vor, dass ein Verschluss für den Begriff einer Waffe nach <ref-law> zwingend erforderlich ist. Für die Anwendbarkeit dieser Bestimmung ist vielmehr entscheidend, dass die fraglichen Rebbergpistolen über eine Abschussvorrichtung für pyrotechnische Geschosse verfügen. Auch wenn Pistolenverschlüsse wesentliche Waffenbestandteile darstellen und gewissen Bestimmungen des Waffengesetzes unterliegen, braucht eine Pistole als Ganzes nicht zwingend über einen Verschluss zu verfügen, um dem Waffengesetz zu unterstehen, wenn auf andere Weise die Möglichkeit besteht, ein Geschoss mit einer Treibladung auszustossen. Der Beschwerdeführer hat bei der Anwendung seiner Rebbergpistole Knallkörper abgeschossen und damit Geschosse im Sinne des Waffengesetzes verwendet. Im Übrigen ist der vorgetragene Vergleich mit einer "Käpselipistole" schon deshalb unzutreffend, weil beim Gebrauch einer solchen kein Geschoss abgefeuert wird.
c) Demnach fallen alle beschlagnahmten Gegenstände in den Geltungsbereich des Waffengesetzes.
5.- a) Nach <ref-law> benötigt einen Waffenerwerbsschein, wer eine Waffe oder einen wesentlichen Waffenbestandteil im Handel erwerben will. Dabei geht es um den Erwerb zu Eigentum bzw. Besitz. <ref-law> gewährleistet unter anderem das Recht auf Waffenbesitz. Dieser untersteht in der Schweiz keiner Bewilligungspflicht (Wüst, a.a.O., S. 170), genauso wie weitgehend auch der Waffenerwerb unter Privaten, d.h.
ausserhalb des professionellen Handels (vgl. <ref-law>).
Erforderlich ist einzig eine Waffentragbewilligung für den Fall, dass jemand in der Öffentlichkeit eine Waffe tragen will (vgl. <ref-law>; unveröffentlichtes Urteil des Bundesgerichts vom 11. Dezember 2000 i.S. A.).
Beim Waffenerwerbsschein gemäss <ref-law> handelt es sich um eine Verfügung im Sinne einer Polizeierlaubnis, mit welcher hoheitlich festgestellt wird, dass der Antragsteller im fraglichen Zeitpunkt die Bedingungen zum Erwerb einer Waffe erfüllt bzw. kein Hinderungsgrund gemäss <ref-law> vorliegt (BBl 1996 I 1062; Wüst, a.a.O., S. 79).
Der Berechtigte ist befugt, während der Geltungsdauer der Bewilligung eine Waffe zu erwerben. Mit der Benützung des Waffenerwerbsscheines wird das darin enthaltene Bezugsrecht konsumiert.
Daraus ergibt sich, dass das Waffengesetz keine Bewilligung zum Besitz vorsieht, die vor einer Beschlagnahme oder Einziehung von Waffen widerrufen oder entzogen werden muss. <ref-law>, welcher den Entzug von Bewilligungen regelt, ist entgegen der Ansicht des Beschwerdeführers auf seinen Fall nicht anwendbar. Der Beschwerdeführer war, als seine fraglichen Waffen beschlagnahmt wurden, im Besitz derselben.
In Frage steht nicht der Entzug einer Bewilligung nach dem Waffengesetz, sondern eine Beschlagnahme bereits erworbener Waffen, deren Besitz grundsätzlich bewilligungsfrei ist.
b) <ref-law>, worin das Recht auf Waffenbesitz gewährleistet wird, sieht vor, dass dies lediglich im Rahmen der Bestimmungen des Waffengesetzes gilt. <ref-law> regelt die Beschlagnahme. Nach Abs. 1 lit. a dieser Bestimmung werden Waffen, wesentliche Waffenbestandteile, Waffenzubehör, Munition und Munitionsbestandteile aus dem Besitz von Personen beschlagnahmt, bei denen ein Hinderungsgrund nach <ref-law> besteht. <ref-law> bildet also einen klaren Vorbehalt zu <ref-law>. Nach <ref-law> liegt ein Hinderungsgrund unter anderem bei denjenigen Personen vor, die zur Annahme Anlass geben, dass sie sich selbst oder Dritte mit der Waffe gefährden (lit. c der Bestimmung). Dies trifft namentlich auf Personen zu, die geistig oder seelisch erkrankt sind und aus diesem Grund durch den Waffenbesitz für sich selbst oder Dritte eine Gefahr darstellen (vgl. Wüst, a.a.O., S. 189).
Gemäss <ref-law> werden die beschlagnahmten Gegenstände definitiv eingezogen, wenn die Gefahr missbräuchlicher Verwendung besteht. Bei der Beschlagnahme und der Einziehung nach Waffengesetz handelt es sich um eigenständige, von einem Verfahren der Strafuntersuchung bzw.
-verfolgung zu unterscheidende Zwangsmassnahmen, die unabhängig davon vorgenommen werden können (vgl. BBl 1996 I 1072 f. sowie Wüst, a.a.O., S. 191 und 196 f.). Soweit der Beschwerdeführer im vorliegenden Zusammenhang geltend macht, die strafprozessualen Regeln seien nicht eingehalten worden, geht dies daher an der Sache vorbei.
c) Der Beschwerdeführer hat in den Nächten vom 29. August und 1. September 1999 auf dem Gelände seines Hofes aus fragwürdigen, aber nicht näher erhellten Gründen geschossen. Während des daran anschliessenden Ermittlungsverfahrens zeigte er sich wenig kooperativ, ja sogar renitent.
Auch wenn sein Verhalten nicht für einen längeren fürsorgerischen Freiheitsentzug ausreichte, führte es doch zu einer kürzeren Einweisung in eine Klinik. Die Vorinstanz äussert in nachvollziehbarer Weise erhebliche Zweifel an der psychischen Stabilität des Beschwerdeführers, wozu sie sich auf etliche Hinweise in den Akten stützen kann. Was der Beschwerdeführer dagegen vorbringt, vermag diese Feststellung nicht in Frage zu stellen. Es kann hier offen bleiben, ob es sich beim vom Beschwerdeführer eingereichten Gutachten des Psychiatrischen Dienstes des Kantons Aargau vom 11. Juni 1999, welches nach seiner Ansicht hätte berücksichtigt werden müssen, um ein unzulässiges neues Vorbringen handelt, welches aus dem Recht zu weisen wäre. So oder so lässt bereits der Umstand, dass der Beschwerdeführer lediglich Auszüge daraus eingereicht hat, erhebliche Zweifel an der Beweistauglichkeit des Schriftstücks zu. Zudem geht daraus hervor, dass er sich bereits einmal in psychiatrischer Behandlung befunden hat und unter erheblichen psychischen Schwankungen leidet, auch wenn dies möglicherweise in letzter Zeit weniger häufig oder deutlich in Erscheinung trat.
Sodann wird darin auf die weiterhin bestehende Gefahr von episodisch auftretenden heftigen Ausbrüchen von Wut und Hass hingewiesen. Unter diesen Umständen gibt der Beschwerdeführer im Sinne von <ref-law> zur Annahme Anlass, dass er Dritte gefährdet, wenn er im Besitz von Waffen bleibt. Dabei ist zu unterstreichen, dass es nicht einzig darauf ankommt, dass und weshalb der Beschwerdeführer nachts auf seinem Hof geschossen hat; dies war lediglich der Auslöser des Beschlagnahmeverfahrens. Entscheidend ist vielmehr das gesamte Verhalten des Beschwerdeführers bzw. sein labiler psychischer Zustand. Die Beschlagnahme der fraglichen Gegenstände erweist sich damit als rechtmässig.
6.- a) Nach <ref-law> werden Gegenstände, die aus dem Besitz einer Person beschlagnahmt worden sind, die nicht eigentumsberechtigt ist, dem Eigentümer oder der Eigentümerin zurückgegeben, wenn kein Hinderungsgrund nach <ref-law> besteht. Gemäss <ref-law> setzt die definitive Einziehung die Gefahr missbräuchlicher Verwendung voraus.
Nach <ref-law> regelt der Bundesrat das Verfahren für den Fall, dass die Rückgabe nicht möglich ist.
Dies hat er in <ref-law> getan.
<ref-law> hatte der Bundesrat beim Erlass des Waffengesetzes nicht vorgesehen; er hatte sich darauf beschränkt, auf die Möglichkeit der strafrechtlichen Einziehung zu verweisen (vgl. BBl 1996 I 1072 f. und 1089). Die zusätzliche waffenrechtliche Einziehung wurde vom Parlament ohne Diskussion in der Debatte vor den Räten (vgl. AB 1996 S 525 und 1997 N 50) eingeführt. Zwar ging es in erster Linie darum, eine gesetzliche Grundlage für das Einziehen beschlagnahmter Gegenstände zu schaffen (AB 1996 S 525 Votum Rhyner); dabei wurden aber die Voraussetzungen der Beschlagnahme und der Einziehung nicht gleich definiert (vgl. auch Wüst, a.a.O., S. 187 ff. und 194 f.). Grundsätzlich fragt sich, ob dieser Unterschied im Wortlaut rechtliche Bedeutung hat bzw. wie er sich allenfalls auswirkt. Dies kann vorliegend jedoch offen bleiben.
b) Mit seiner Verfügung vom 6./10. September 1999 hat das Bezirksamt einerseits gestützt auf <ref-law> die fraglichen Gegenstände beschlagnahmt und zusätzlich "wegen Gefahr missbräuchlicher Verwendung gemäss Art. 31 Abs. 3 Waffengesetz definitiv eingezogen". Das Departement hat in seinem Rekursentscheid vom 20. Dezember 1999 ausgeführt, weshalb sowohl die Beschlagnahme als auch die definitive Einziehung gerechtfertigt seien. Das Verwaltungsgericht hat die dagegen erhobene Beschwerde abgewiesen, ohne sich mit der Frage der Einziehung näher zu befassen. Die definitive Einziehung blieb daher bestehen.
Dies hat auch der Beschwerdeführer durchaus so verstanden.
In der Verwaltungsgerichtsbeschwerde an das Bundesgericht führt er nämlich aus, die beschlagnahmten Gegenstände seien definitiv eingezogen worden, wobei es sich um Endverfügungen handle, und das Verwaltungsgericht sei auf die Problematik der definitiven Einziehung überhaupt nicht eingegangen. Es trifft zwar zu, dass die Frage, was mit den eingezogenen Waffen geschehen soll, nicht geregelt wurde.
Klar ist aber auch, dass eine Rückgabe der beschlagnahmten Gegenstände an den Beschwerdeführer mit Blick auf <ref-law> ausgeschlossen erscheint. Im Übrigen durften die Vorinstanzen aus dem gleichen Grund ohne Verletzung von Bundesrecht auch auf die Gefahr missbräuchlicher Verwendung im Sinne von <ref-law> schliessen. Kommt somit eine Rückgabe der beschlagnahmten Gegenstände an den Beschwerdeführer nicht in Frage, ist in diesem Sinne die als definitive Einziehung bezeichnete Vorkehr der Vorinstanzen so oder so zu schützen, unabhängig davon, welches allenfalls die weiteren Folgen dieser Massnahme sind.
c) Unter diesen Umständen stellt sich freilich die Frage, ob die Waffen entschädigungslos einzuziehen oder bloss zurückzubehalten und anschliessend zu veräussern sind und der Beschwerdeführer als deren Eigentümer entschädigt werden muss (vgl. Art. 34 Abs. 3 und 4 WV). Gesetzes- und Verordnungsrecht sind insofern unklar. Während insbesondere der Verordnungstext so verstanden werden könnte, dass bei definitiver Einziehung eine Entschädigung immer ausgeschlossen ist, ergibt sich eine solche Einschränkung aus dem Gesetz nicht. Es kann daher wohl nicht von einer zwingenden Regel, sondern höchstens von einem entsprechenden Grundsatz ausgegangen werden, ohne dass dessen Tragweite hier endgültig bestimmt werden muss.
aa) Der Beschwerdeführer hat vor den Vorinstanzen nie ein Begehren auf allfällige Entschädigung gestellt, auch nicht subsidiär. Erst in der Verwaltungsgerichtsbeschwerde an das Bundesgericht macht er erstmals unter Hinweis auf <ref-law> eine Entschädigung geltend bzw.
trägt er vor, das Verwaltungsgericht habe diese Frage nicht beurteilt. Es fragt sich, ob es sich dabei nicht um eine unzulässige Erweiterung des Streitgegenstands handelt, wird doch vor Bundesgericht im Ergebnis mehr verlangt als vor den Vorinstanzen (vgl. dazu Kölz Alfred/Häner Isabelle, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes,
2. Aufl. Zürich 1998, S. 332 f., Rz. 939). Auch diese Frage kann indessen offen bleiben.
bb) Da im vorliegenden Fall nicht Gegenstände beschlagnahmt wurden, deren Erwerb als solcher verboten ist, erscheint die Anwendung von Art. 34 Abs. 3 und 4 WV nicht von vornherein ausgeschlossen, womit eine Veräusserung der fraglichen Objekte und Entschädigung des Eigentümers grundsätzlich in Betracht fallen. Wenn die Verhältnisse liquid sind, mag es zwar zweckmässig sein, über ein solches Vorgehen bereits im Verfahren über die Rückgabe oder definitive Einziehung zu befinden. Zwingend erforderlich ist es aber nicht, den Entscheid über die Entschädigungspflicht gleichzeitig zu fällen, ist doch die Entschädigung nicht Voraussetzung, sondern lediglich allfällige Folge der Einziehung bzw. der zu Recht erfolgten Verweigerung der Rückgabe. Auch <ref-law> scheint das "Entschädigungsverfahren" als separaten oder jedenfalls abtrennbaren Teil des Beschlagnahme- bzw. Einziehungsverfahrens zu behandeln. Auch wenn sich die Vorinstanzen mit der Entschädigungsfrage überhaupt (noch) nicht befasst haben, so lässt das Urteil des Verwaltungsgerichts doch Raum für ein separates nachträgliches Entschädigungsverfahren nach Massgabe der einschlägigen Regeln, namentlich gemäss <ref-law>. Es obliegt zunächst der erstinstanzlich "zuständigen Behörde", darüber zu befinden, was mit den beschlagnahmten bzw. eingezogenen Waffen geschehen soll und ob die Voraussetzungen für eine Entschädigung des Eigentümers gegebenenfalls erfüllt sind. Damit kann es nicht Sache des Bundesgerichts sein, bereits im vorliegenden Verfahren über die Rechtslage im Hinblick auf die allfällige Entschädigung des Beschwerdeführers zu entscheiden.
7.- Demnach ist die Verwaltungsgerichtsbeschwerde im Sinne der Erwägungen abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1, Art. 153 und 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird im Sinne der Erwägungen abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Departement für Justiz und Sicherheit des Kantons Thurgau, dem Bezirksamt Weinfelden, dem Verwaltungsgericht des Kantons Thurgau sowie dem Eidgenössischen Justiz und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 30. März 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: