El palacio propiamente dicho es lo que ocupaba la actual plaza de Juan de Ribera y sus jardines estaban limitados por un muro de cerramiento que se conserva hasta nuestros días y que ha sido restaurado recientemente.