La otra importante residencia de la difunta duquesa de Alba, el palacio de la Moncloa, tampoco pasó a los Berwick ya que, a su fallecimiento, el rey Carlos IV lo adquirió junto con la huerta para añadirlos al Real Sitio de la Florida que, a partir de entonces, fue conocido como el Real Sitio de la Moncloa.