Музей находится в пределах венского Арсенала в районе Ландштрассе, недалеко от дворцового комплекса Бельведер. Он был построен в неовизантийском и неоготическом стилях (проявление эклектики) между 1850 и 1856 годами по приказу императора Франца Иосифа I после того, как старый городской гарнизон был разрушен во время революции 1848 года. Музей, находясь в центре Арсенала, должен был хранить информацию о победах Австрии и её предводителях. Здание составляют пять главных частей: главный зал, посвящённый памяти военачальников, и четыре зала для проведения выставок. Бронзовые пушки выставлены снаружи музея.