Durante el gobierno de los Ponce de León, el castillo fue casa del gobernador de la villa y casa capitular hasta 1750.