Desde que se iniciaron las obras de la Plaza España en 1909, con el derribo del Cuartel de San Gil, se empezó a plantear el ensanche de la calle Bailén, con el consiguiente derribo de parte del palacio del Almirantazgo.