Erwägungen:
1.
Am 24. Mai 2018 stellte die Kantonspolizei Zürich am Wohnort von A._ ein Sturmgewehr 90 und ein Bajonett sicher; sie gab die Waffen an das Statthalteramt des Bezirks Horgen weiter. Dieses stellte für den Fall, dass der Betroffene die Herausgabe der Waffen erwirken wolle, die Einleitung eines Administrativverfahrens betreffend Waffenbeschlagnahmung/Waffeneinziehung in Aussicht. Am 30. Juli 2018 erklärte A._, auf der Rückgabe der Waffen zu bestehen. Zudem stellte er ein Gesuch um Gewährung der unentgeltlichen Rechtsverbeiständung für das Administrativverfahren, welches das Statthalteramt mit Verfügung vom 6. September 2018 abwies. Den gegen diese Verfügung erhobenen Rekurs von A._, womit beantragt wurde, das Statthalteramt habe ihm einen Rechtsbeistand zur Seite zu stellen, wies der Regierungsrat des Kantons Zürich mit Beschluss vom 16. Januar 2019 ab. Auf die am 7. März 2019 gegen diesen Beschluss erhobene Beschwerde trat das Verwaltungsgericht des Kantons Zürich mit Verfügung des Einzelrichters vom 2. Mai 2019 nicht ein. Die Gerichtskosten von Fr. 400.--, bestehend aus einer Gerichtsgebühr von Fr. 300.-- und Zustellkosten von Fr. 100.--, auferlegte es A._.
Dieser hat am 24. Juni 2019 beim Bundesgericht Beschwerde gegen die verwaltungsgerichtliche Verfügung erhoben.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2.
2.1. Gemäss Art. 42 Abs. 1 und 2 BGG haben Rechtsschriften die Begehren und deren Begründung zu enthalten. Rechtsbegehren und Begründung haben sachbezogen zu sein und sich auf den Gegenstand des angefochtenen Entscheids zu beziehen und beschränken. Die Beschwerde führende Partei muss in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen in gedrängter Form plausibel darlegen, inwiefern die Vorinstanz welche Rechte bzw. Rechtsnormen verletzt haben soll (<ref-ruling> E. 2 S. 88 f. mit Hinweisen). Gerügt werden kann die Verletzung von schweizerischem Recht (<ref-law>), mithin nicht unmittelbar von kantonalem Gesetzesrecht. Beruht der angefochtene Entscheid (wie vorliegend) auf kantonalem (Verfahrens-) Recht, kann im Wesentlichen bloss die Verletzung verfassungsmässiger Rechte, namentlich Willkür bei dessen Anwendung, gerügt werden; entsprechende Rügen bedürfen gemäss <ref-law> besonderer Geltendmachung und Begründung (<ref-ruling> E. 1.3 S. 41 mit Hinweisen).
2.2. Der Beschwerdeführer stellt zahlreiche Anträge und äussert sich zum materiellen Rechtsstreit (Beschlagnahmung bzw. Rückgabe der Waffen, unentgeltliche Rechtspflege im entsprechenden Verfahren). Angefochten ist ein Nichteintretensentscheid des Verwaltungsgerichts. Zum Gegenstand des bundesgerichtlichen Verfahrens kann nur die Frage gemacht werden, wie es sich mit dem vom Verwaltungsgericht herangezogenen Nichteintretensgrund verhält. Auf die nicht diese Frage betreffenden Äusserungen in der Beschwerdeschrift ist von vornherein nicht einzugehen.
2.3. Das Verwaltungsgericht ist auf die bei ihm eingereichte Beschwerde nicht eingetreten, weil es sie für verspätet erachtet. Es stützt sich darauf, dass die Beschwerdefrist 30 Tage beträgt (§ 53 in Verb. mit § 22 des Zürcher Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 [VRG]), dass die Frist am Tage nach Eröffnung des anzufechtenden Entscheids zu laufen beginnt (§ 22 Abs. 2 bzw. § 11 Abs. 1 VRG) und dass schriftliche Eingaben spätestens am letzten Tag der Frist bei der Behörde eintreffen oder zu deren Handen der schweizerischen Post übergeben sein müssen (§ 11 Abs. 2 VRG). Weiter argumentiert es mit den gemäss § 71 VRG (als subsidiäres kantonales Recht) ergänzend Anwendung findenden Bestimmungen der eidgenössischen ZPO über das prozessuale Handeln und die Fristen: Gemäss <ref-law> erfolgt die Zustellung von Vorladungen, Verfügungen und Entscheiden durch eingeschriebene Postsendung oder auf andere Weise gegen Empfangsbestätigung. Sie ist erfolgt, wenn die Sendung vom Adressaten entgegengenommen wurde (<ref-law>). Gemäss <ref-law> gilt sie zudem bei einer eingeschriebenen Postsendung als am siebten Tag nach dem erfolglosen Zustellungsversuch erfolgt, sofern die Person mit einer Zustellung rechnen musste (sog. Zustellfiktion). Das Verwaltungsgericht erläutert die Praxis zur Zustellfiktion; es schildert die einschlägige Rechtsprechung und befasst sich mit der Frage, wann unter dem Gesichtswinkel des Vertrauensschutzes ausnahmsweise auf die Fiktion verzichtet werden kann/muss, wobei es auch auf die Problematik Verlängerung der Abholfrist eingeht (E. 2.3.1 und 2.3.2).
Gemäss den für das Bundesgericht verbindlichen Sachverhaltsfeststellungen (s. <ref-law>) des Verwaltungsgerichts hat der Regierungsrat seinen Beschluss vom 16. Januar 2019 am 22. Januar 2019 bei der Post aufgegeben. Am 23. Januar 2019 wurde dem Beschwerdeführer mit Abholungseinladung gemeldet, dass die Sendung bis zum 30. Januar 2019 zur Abholung bereit liege. Am Vormittag des 30. Januar 2019 gab der Beschwerdeführer der Post den Auftrag, die Abholfrist bis 20. Februar 2019 zu verlängern. Schliesslich holte er den regierungsrätlichen Beschluss am 7. Februar 2019 ab. Beschwerde an das Verwaltungsgericht erhob er am 7. März 2019. Wird kraft der Zustellfiktion von der gültigen Eröffnung am 30. Januar 2019 ausgegangen, lief die Beschwerdefrist am 1. März 2019 ab und war die Beschwerde verspätet. Das Verwaltungsgericht sieht keine Gründe, im konkreten Fall die Zustellfiktion nicht wirksam werden zu lassen.
Der Beschwerdeführer befasst sich mit den vom Verwaltungsgericht dargelegten Voraussetzungen und Schranken der Zustellfiktion in keiner Weise. Namentlich geht er nicht darauf ein, warum nach den Erwägungen des Verwaltungsgerichts in seinem Fall der Vertrauensschutz nicht zum Tragen komme (etwa auch wegen seiner ständigen Bemühungen, bei der Post die Verlängerung von Abholungsfristen zu erwirken, E. 2.3.3.). Unerfindlich ist, was sich im Zusammenhang mit <ref-law> zu seinen Gunsten aus dem Umstand ableiten liesse, dass der Regierungsrat seinen Beschluss nicht als eingeschriebene Sendung, sondern als "avis de réception" verschickt habe. Soweit sich der Beschwerdeführer zum Thema Fristwahrung bei der Anfechtung des regierungsrätlichen Beschlusses äussert, zeigt er auch nicht ansatzweise auf, inwiefern das Verwaltungsgericht bei der diesbezüglichen Rechtsanwendung ihm zustehende verfassungsmässige Rechte missachtet habe.
2.4. Der Beschwerdeführer thematisiert die Höhe der vom Verwaltungsgericht verrechneten Zustellkosten von Fr. 100.--. Abgesehen davon, dass seine Berechnung unvollständig ist (er berücksichtigt nicht die mit dem Miteinbezug der übrigen am kantonalen Verfahren Beteiligten verbundenen Kosten), bleibt im Lichte seiner Ausführungen unerfindlich, inwiefern die bemängelte Kostenfestsetzung gegen den Grundsatz von Treu und Glauben (oder ein anderes, nicht genanntes verfassungsmässiges Recht, s. aber <ref-law>) verstossen würde.
2.5. Die Beschwerde enthält offensichtlich keine hinreichende Begründung. Es ist darauf mit Entscheid des Abteilungspräsidenten als Einzelrichter im vereinfachten Verfahren nach <ref-law> nicht einzutreten.
2.6. Soweit der Beschwerdeführer auch für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege und -beistand ersucht, kann dem Gesuch schon darum nicht entsprechen, weil die Beschwerde aussichtlos erschien (<ref-law>). Die Beigabe eines Rechtsanwalts wäre ohnehin ausser Betracht gefallen, da ein solcher nach Ablauf der Beschwerdefrist nicht mehr wirksam eine verbesserte Rechtsschrift hätte nachreichen können.
2.7. Die Gerichtskosten (<ref-law>) sind dem Beschwerdeführer als unterliegende Partei aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 600.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiiligten, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 25. Juni 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Feller