Fue erigido en 1784 para uso de Carlos IV, por entonces príncipe de Asturias, por encargo de su padre, el rey Carlos III, y se debe al arquitecto madrileño Juan de Villanueva, quien previamente había diseñado las Casitas de Arriba y de Abajo en el Real Sitio de El Escorial.