Durante el reinado de José Bonaparte, que se extendió desde 1808 hasta 1813, se acometieron las primeras demoliciones de manzanas en el entorno del palacio, dentro de un plan urbanístico de apertura del viario para toda la ciudad, que le valió al monarca el sobrenombre de "Pepe Plazuelas" (además del ya citado de Pepe Botella).