Sachverhalt: A. A._ (1988) ist bei der B._ AG als Security-Mitarbeiter angestellt. Im Zusammenhang mit dieser beruflichen Tätigkeit war er im Besitz einer bis zum 21. August 2018 befristeten Waffentragbewilligung für einen Schlagstock. Am 6. Juli 2018 ersuchte er um Erneuerung dieser Bewilligung. Mit Verfügung vom 30. Juli 2018 lehnte die Kantonspolizei Bern, Fachbereich Waffen, Sprengstoff und Gewerbe (nachfolgend: Kapo), das Gesuch ab und entzog A._ gleichzeitig superprovisorisch die noch gültige Waffentragbewilligung. B. Gegen diese Verfügung erhob A._ am 28. August 2018 Beschwerde bei der Polizei- und Militärdirektion des Kantons Bern (POM). Diese wies mit Zwischenverfügung vom 27. September 2018 zunächst das Gesuch um vorsorgliche Belassung der bisherigen Waffentragbewilligung ab. Mit Entscheid vom 30. Oktober 2018 wies die POM die Beschwerde in der Hauptsache ab. C. Hiergegen hat A._ am 28. November 2018 Verwaltungsgerichtsbeschwerde erhoben mit dem Antrag, der angefochtene Entscheid sei aufzuheben und ihm sei die Waffentragbewilligung für einen Schlagstock zwecks Ausübung seines Berufs zu erteilen. Mit Entscheid vom 12. Februar 2019 hat das Verwaltungsgericht des Kantons Bern die Beschwerde abgewiesen. A._ erhebt mit Eingabe vom 18. März 2019 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt die Aufhebung des angefochtenen Urteils und die Erteilung der Waffentragbewilligung für einen Schlagstock zwecks Ausübung seines Berufs. Mit Vernehmlassungen vom 1. April resp. 30. April 2019 schliessen die Kapo, das POM sowie das Verwaltungsgericht auf Abweisung der Beschwerde. Das Bundesamt für Justiz verzichtet auf eine Stellungnahme.