Museets hovedbygning er flåtens gamle tøyhus som ble bygd 1699-1704 som en stall for Karl XIIs drabanter. Tegningen var ved slottsarkitekten Nicodemus Tessin d. y.