La Fresneda era un antiguo poblado que poseía concejo, iglesia parroquial, coto e incluso hospital pero bajo el gobierno de Felipe II fue comprado, remodelado y dedicado a lugar de recreo de religiosos y miembros de la Familia Real —ir de granjería—, de ahí la denominación posterior de La Granjilla.