El castillo fue construido entre 1659 y 1686 en el cerro Pan de Azúcar, desde donde domina la ciudad y a su vez puede observar el golfo de Cariaco y la península de Araya.