El Buen Retiro se fue vaciando entonces paulatinamente de sus funciones cortesanas y, en 1766, a raíz del Motín de Esquilache pasó a funcionar como cuartel de los regimientos de Aragón y de los Suizos de Reding, las tropas no abandonarían el palacio hasta 1787.