El palacio estaba adosado al tramo de muralla que discurre entre dos puertas, la anterior y la puerta de San Vicente.