Barokkityyliä edustava Zeughaus rakennettiin vuosina 1695–1706 Preussin suureksi asevarastoksi. Rakennusta suunnitteli perä jälkeen neljä aikansa johtavaa arkkitehtia, Johann Arnold Nering, Martin Grünberg, Andreas Schlüter ja Jean de Bodt. Asevarasto joutui väkijoukon valtaamaksi vuoden 1848 vallankumouksen yhteydessä. Alusta alkaen Zeughaus oli myös paikka paraativarusteiden ja sodissa saatujen voitonmerkkien säilyttämistä ja esittelyä varten. Sen käyttö alkoi muuttua 1800-luvulla yhä enemmän museon suuntaan ja Saksan keisarikunnan perustamisen jälkeen se muutettiin 1877–1880 keisari Vilhelm I:n määräyksestä Brandenburgin ja Preussin sotahistoriaa esitteleväksi museoksi, jolloin käyttö asevarastona päättyi. Zeughaus toimi asemuseona aina toiseen maailmansotaan saakka. Vuodesta 1934 alkaen Zeughausissa järjestettiin vuosittaisen sankareiden muistopäivän pääjuhla. Vuoden 1943 juhlan yhteydessä vastarintaliikkeeseen kuulunut everstiluutnantti Rudolf von Gersdorff yritti murhata Adolf Hitlerin pommilla, mutta Hitler poistui Zeughausista etuajassa ja suunnitelma meni pieleen.