El Castillo de San Pedro de Alcántara y su Plaza de Armas está ubicado en la isla Mancera, al borde oriental de la bahía. Fue el punto fundacional del sistema defensivo. Fundado en 1645, desde 1760 y 1769 la población de Valdivia se trasladó al lugar. Se iniciaron las obras de construcción de la Plaza de Armas, con sus respectivos almacenes, la Caja Real, Sala de Armas y Palacio del Gobernador. En 1764 se construyó el depósito general de pólvora en la cumbre del cerro donde se sustentaba de pólvora todas las fortificaciones de la bahía; y en 1774 la Iglesia y el convento de San Antonio de arquitectura barroca. El 26 de mayo de 1774 los vecinos acordaron volver a Valdivia. Esto generó que en la isla sólo quede una guarnición militar. El 2 y 3 de febrero de 1820 fue tomado por el almirante Thomas Alexander Cochrane en una audaz operación pues los fuegos de todos los fuertes del sistema defensivo se cruzaban. Este episodio es conocido como la Toma de Valdivia. Actualmente se conservan las ruinas de la fortificación a cargo de la Universidad Austral de Chile, la cual mantiene un Museo de Sitio.