Erwägungen:
1.
Am 27. Oktober 2011 und ein zweites Mal am 28. September 2012 wurde die Polizei an den Wohnort von A._ gerufen, dies gestützt auf eine Meldung über seinem Sohn gegenüber an den Tag gelegtes aggressives und bedrohliches Verhalten. Angesichts der bei der zweiten Intervention vom 28. September 2012 vorgefundenen Situation wurde ein Notarzt beigezogen, der im Sinne eines fürsorgerischen Freiheitsentzugs die Einweisung von A._ in eine Klinik anordnete; das Bezirksgericht Horgen wies mit Urteil vom 5. Oktober 2012 die ärztliche Leitung der Klinik an, ihn wieder zu entlassen. Am 12. Oktober 2012 stellte die Kantonspolizei Zürich eine Ordonnanzwaffe SIG mit zwei Magazinen und einen Offiziersdolch sicher und übergab die Waffen dem Statthalteramt Horgen. Dieses verfügte am 28. Mai 2013 gestützt auf Art. 31 Abs. 1 und 3 in Verbindung mit Art. 8 Abs. 2 lit. c des Bundesgesetzes über Waffen, Waffenzubehör und Munition (Waffengesetz, WG; SR 514.54) die definitive Einziehung der beschlagnahmten Gegenstände und deren Überlassung an die Kantonspolizei zur gutscheinenden Verwendung bzw. Vernichtung.
Mit Beschluss vom 5. März 2014 wies der Regierungsrat des Kantons Zürich in teilweiser Gutheissung eines Rekurses von A._ die Sache im Sinne der Erwägungen an das Statthalteramt Horgen zurück, damit es ergänzende Abklärungen vornehme, namentlich eine ärztliche Begutachtung veranlasse, dem Betroffenen Einblick in zwei Polizeirapporte gewähre und anschliessend neu über die Einziehung der Waffen befinde, wobei auch über eine allfällige Entschädigung für die sichergestellten Gegenstände zu entscheiden sei.
Mit Urteil vom 4. Dezember 2014 wies das Verwaltungsgericht des Kantons Zürich die gegen den regierungsrätlichen Beschluss erhobene Beschwerde ab, soweit es darauf eintrat.
Gegen dieses Urteil hat A._ am 2. Februar 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Unter anderem beantragt er Aufhebung des angefochtenen Urteils.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
Mit dem vorliegenden instanzabschliessenden Urteil wird das Gesuch um aufschiebende Wirkung gegenstandslos.
2.
2.1. Gemäss Art. 42 Abs. 1 und 2 BGG haben Rechtsschriften die Begehren und deren Begründung zu enthalten; in der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletze. Die Begründung muss sachbezogen sein, d.h. sich auf den Gegenstand des Verfahrens beziehen und beschränken. Die Beschwerde führende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen der Vorinstanz aufzuzeigen, inwiefern eine Rechtsverletzung vorliege. Hinsichtlich der Anwendung kantonalrechtlicher Normen (BGE 138 I 225 E. 3.1 und 3.2 S. 227 f.; 137 V 57 E. 1.3 S. 60 f.; 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68; je mit Hinweisen) und der vorinstanzlichen Sachverhaltsfeststellungen (Art. 105 Abs. 1 und 2 sowie Art. 97 Abs. 1 BGG, dazu BGE 140 III 264 E. 2.3 S. 266 f.; 137 I 58 E. 4.1.2 S. 62) kann weitgehend nur die Verletzung verfassungsmässiger Rechte gerügt werden; solche Rügen bedürfen spezifischer Geltendmachung und Begründung (Art. 106 Abs. 2 BGG).
2.2. Das Verwaltungsgericht hat in E. 1 seines Urteils den Verfahrensgegenstand umschrieben und auf die Frage eingeschränkt, ob die mit dem Rückweisungsentscheid des Regierungsrats verbundene Aufforderung an das Statthalteramt, vorgängig des Entscheids über die Einziehung der beschlagnahmten Waffen eine ärztliche Begutachtung zu veranlassen, rechtens sei. Da der Beschwerdeführer nicht darlegt, inwiefern diese Beschränkung des Verfahrensgegenstands rechtsverletzend sei, insbesondere sich mit den Darlegungen in der Beschwerdeschrift (Ziff. 2.9, S. 11) diesbezüglich nicht Willkür aufzeigen lässt, sind seine über diesen Gegenstand hinauszielenden Ausführungen und Anträge unzulässig. Dies gilt namentlich für seine Entschädigungs- und Genugtuungsforderungen; nicht Sache des Bundesgerichts ist es zudem, direkt Anordnungen über die Rückzahlung eines in einem kantonalen Verfahren geleisteten Kostenvorschusses zu treffen.
2.3. Das Verwaltungsgericht hat einen Rückweisungsentscheid des Regierungsrats überprüft und bestätigt; insofern erweist sich auch sein Urteil als Rückweisungsentscheid. Rückweisungsentscheide gelten grundsätzlich als Zwischenentscheide, weil sie das Verfahren nicht abschliessen (BGE 134 II 124 E. 1.3. S. 127; 133 V 477 E. 4 S. 480-482). Anders verhält es sich bloss, wenn der unteren Instanz, an welche die Sache zurückgewiesen wird, kein Entscheidungsspielraum mehr bleibt und die Rückweisung bloss der (rein rechnerischen) Umsetzung des oberinstanzlich Angeordneten dient; diesfalls läge ein Endentscheid vor (BGE 134 II 124 E. 1.3 S. 127; ausführlich Urteil 2C_258/2008 vom 27. März 2009 E. 3.3, publiziert in: StE 2009 B 96.21 Nr. 14). So verhält es sich vorliegend nicht; das angefochtene Urteil erweist sich als Zwischenentscheid.
Zwischenentscheide sind nur unter den Voraussetzungen von Art. 92 und 93 BGG anfechtbar. Gemäss Art. 93 Abs. 1 BGG ist die Beschwerde gegen einen Zwischenentscheid nur dann zulässig, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Mit dem angefochtenen Urteil wird bestätigt, dass im Rahmen der weiteren Sachverhaltsabklärungen eine psychiatrische Begutachtung des Beschwerdeführers erforderlich sei. Wie das Verwaltungsgericht in E. 1.4.3 seines Urteils unter Hinweis auf das Urteil des Bundesgerichts 5A_211/2014 vom 14. Juli 2014 E. 1 richtig festgestellt hat, entsteht dem Beschwerdeführer dadurch ein unwiderruflicher Eingriff in die persönliche Freiheit, ein nicht wieder gutzumachender Nachteil. Schon darum liegt hier ein grundsätzlich anfechtbarer Zwischenentscheid vor. Bei dessen Anfechtung kann - (unter den in E. 3.1 nachfolgend genannten Voraussetzungen) - auch die Rüge der Verletzung von Ausstandsvorschriften erhoben werden (s. diesbezüglich sinngemäss auch Art. 92 BGG).
3.
3.1. Der Beschwerdeführer beanstandet, dass ihm der Spruchkörper des Verwaltungsgerichts nicht vorgängig bekannt gegeben worden sei. Die Bekanntgabe des Spruchkörpers ermöglicht einer Partei, rechtzeitig ein allfälliges Ausstandsbegehren zu stellen. Indessen besteht nicht ein unbedingter Anspruch auf eine entsprechende Mitteilung (BGE 139 III 120 E. 3.2.1 S. 124). Selbst wenn aber im konkreten Fall ausnahmsweise - auch ohne Antrag des Beschwerdeführers - eine vorgängige Bekanntgabe der mitwirkenden Gerichtspersonen zu erwägen gewesen wäre, führte eine entsprechende Unterlassung für sich allein nicht zur Aufhebung des angefochtenen Urteils (etwa wegen Verletzung von Art. 29 Abs. 2 BV); eine solche Unterlassung hat in der Regel bloss zur Folge, dass eine allfällige Befangenheit von am Urteil Mitwirkenden nachträglich gültig noch im Beschwerdeverfahren gerügt werden kann (eben zitiertes Urteil). Der Beschwerdeführer ist der Auffassung, es sei ein Ausstandsgrund gegeben; er kann dies nach dem Gesagten im Beschwerdeverfahren vor Bundesgericht rügen.
Der Beschwerdeführer beruft sich dabei nicht auf die kantonalzürcherische gesetzliche Regelung des Ausstands und macht nicht geltend, die einschlägigen Normen seien willkürlich angewendet worden. Hingegen erwähnt er Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK. Gemäss Art. 30 Abs. 1 BV hat jede Person, deren Sache in einem gerichtlichen Verfahren beurteilt werden muss, Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Auch Art. 6 Ziff. 1 EMRK räumt jeder Person das Recht ein, dass das von ihr (in einer straf- oder zivilrechtlichen) Streitigkeit angerufene Gericht unabhängig und unparteiisch sei und in einem fairen Verfahren entscheide. Ob Art. 6 Ziff. 1 EMRK hier zur Anwendung kommt, ist zweifelhaft, kann aber offen bleiben, da er inhaltlich im Wesentlichen dasselbe garantiert wie Art. 30 Abs. 1 BV.
3.2. Die Garantie des verfassungsmässigen Richters nach Art. 30 Abs. 1 BV wird verletzt, wenn der Anschein der Befangenheit oder die Gefahr der Voreingenommenheit eines Gerichtsmitglieds besteht. Diese Befürchtung kann in einem bestimmten Verhalten des betroffenen Gerichtsmitglieds oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Voreingenommenheit und Befangenheit in diesem Sinne werden nach der Rechtsprechung angenommen, wenn im Einzelfall anhand aller tatsächlichen und verfahrensrechtlichen Umstände Gegebenheiten aufscheinen, die geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Dabei ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Massstab ist dabei, ob die konkreten Umstände hinreichende Gewähr für die erforderliche Offenheit der Beurteilung und des Ausgangs des Verfahrens bieten (BGE 139 I 121 E. 5.1 S. 125; 139 III 120 E. 3.2.1 S. 124, 433 E. 2.1.2 S. S. 436; 137 I 227 E. 2.1 S. 229 und E. 2.6.1 S. 232).
Der Beschwerdeführer stösst sich daran, dass am angefochtenen Urteil drei Frauen (zwei Richterinnen und die Gerichtsschreiberin) und nur ein Mann (Richter) mitgewirkt haben. Es bleibt unerfindlich, inwiefern die Geschlechtszugehörigkeit einer Gerichtsperson deren Fähigkeit zu unparteiischer Entscheidung beeinflussen könnte. Ob es überhaupt Fallkonstellationen gibt, wo die Zugehörigkeit zum einen oder anderen Geschlecht in einer Weise relevant werden könnte, dass eine Änderung der Gerichtsbesetzung unter dem Aspekt von Art. 30 Abs. 1 BV zwingend erscheinen würde, ist zweifelhaft. Mit Sicherheit liegt jedenfalls hier, wo es um die Rechtsfrage geht, ob der Entscheid über die Frage der definitiven Einziehung der beschlagnahmten Waffen oder deren Wiederaushändigung an den Beschwerdeführer von der Durchführung einer ärztlichen Begutachtung abhängig gemacht werden darf, keine solche Konstellation vor. (Ohnehin gehen die Erfahrungen des Beschwerdeführers als Offizier, der viele Diensttage erbracht hat, die seine Einstellung zu Waffen geprägt haben sollen, auch einer Grosszahl von Männern ab, sodass von vornherein kein geschlechterspezifischer Aspekt erkennbar ist).
Nicht nachvollziehbar ist sodann, wie sich aus der nach Eröffnung des angefochtenen Urteils geführten Korrespondenz zwischen dem Beschwerdeführer und dem Verwaltungsgericht ableiten liesse, dass dessen Mitglieder oder die Gerichtsschreiberin bei der Urteilsfällung parteiisch oder voreingenommen gewesen sein könnten (oder dies allenfalls heute wären). Die Rüge der Verletzung von Art. 30 Abs. 1 BV oder Art. 6 Ziff. 1 EMRK erweist sich, soweit sie überhaupt genügend substantiiert und darauf einzutreten ist, als offensichtlich unbegründet.
4.
In materieller Hinsicht hat das Verwaltungsgericht auf dem Hintergrund der Regelung von Art. 31 Abs. 3 in Verbindung mit Art. 8 Abs. 2 lit. c WG geprüft, ob es im Lichte des Grundrechts der persönlichen Freiheit verhältnismässig sei, die allfällige Rückgabe der (unangefochten) beschlagnahmten Waffen an den Beschwerdeführer von der Durchführung einer ärztlichen Begutachtung abhängig zu machen. Es hat dies bejaht. Was der Beschwerdeführer dazu vorbringt, ist nicht geeignet, die einleuchtenden Erwägungen des Verwaltungsgerichts in Frage zu stellen. Weder zeigt er auf, dass es von offensichtlich unrichtigen tatsächlichen Voraussetzungen ausgegangen wäre (vgl. E. 2.1), noch vermögen seine Ausführungen die umfassend erscheinende vorinstanzliche Interessenabwägung in Frage zu stellen. Sie hält rechtlicher Prüfung stand. Es genügt, vollumfänglich auf die Darlegungen in E. 3 des angefochtenen Urteils zu verweisen, denen nichts beizufügen ist (Art. 109 Abs. 3 BGG).
5.
Die Beschwerde erweist sich in jeder Hinsicht als offensichtlich unbegründet. Sie ist, soweit darauf einzutreten ist, im vereinfachten Verfahren nach Art. 109 BGG abzuweisen.
6.
Die Gerichtskosten (Art. 65 BGG) sind entsprechend dem Verfahrensausgang dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 10. Februar 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Feller