Avant la construction de l'actuel bâtiment, deux autres châtelets se sont succédé sur l'île de Kastellholmen. Le premier est construit en 1667 d'après des plans de l'architecte Erik Dahlbergh, à une époque où la flotte de guerre suédoise est pour l'essentiel stationnée à Kastellholmen et sur l'île voisine de Skeppsholmen. Le bâtiment octogonal a une mission défensive, mais ses canons, conquis pendant la guerre de Trente Ans et l'invasion de la Pologne par Charles X Gustave, servent surtout à saluer les bâtiments qui entrent et sortent du port de Stockholm.