Sachverhalt: A. Das Regionalgericht Oberland erklärte X._ am 2. März 2017 der Widerhandlungen gegen das Waffengesetz und das Sprengstoffgesetz (Missachten von Schutz- und Sicherheitsvorschriften sowie Verletzung der Buchführungspflicht) sowie der Hinderung einer Amtshandlung schuldig. Es bestrafte ihn mit einer bedingten Geldstrafe von 64 Tagessätzen zu Fr. 220.--, einer Verbindungsbusse von Fr. 3'520.-- und einer Übertretungsbusse von Fr. 520.--, teilweise als Zusatzstrafe zu einer früheren Verurteilung. Dagegen erhob X._ Berufung. B. Das Obergericht des Kantons Bern sprach X._ am 24. September 2018 vom Anklagevorwurf der Widerhandlung gegen das Sprengstoffgesetz durch Verletzung der Buchführungspflicht frei. Im Übrigen bestätigte es die erstinstanzlichen Schuldsprüche, soweit diese nicht bereits in Rechtskraft erwachsen waren. Es bestrafte X._ mit einer bedingten Geldstrafe von 64 Tagessätzen zu Fr. 220.--, einer Verbindungsbusse von Fr. 3'520.-- und einer Übertretungsbusse von Fr. 460.--, teilweise als Zusatzstrafe zu einer früheren Verurteilung. C. X._ führt Beschwerde in Strafsachen. Er beantragt, das Urteil des Obergerichts sei aufzuheben und das Verfahren gegen ihn einzustellen. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Bei Gutheissung seines Hauptantrags sei ihm eine Genugtuung zuzusprechen. Das Obergericht beantragt, die Beschwerde sei abzuweisen. Die Oberstaatsanwaltschaft des Kantons Bern verzichtet auf eine Vernehmlassung. X._ replizierte.