Según crónicas de la época, el primer refugio real de monteros (conocido como Casa del Bosque) fue mandado construir por el rey Enrique III en el pueblo de Valsaín, el rey Enrique IV construyó un albergue y una pequeña ermita dedicada al arzobispo San Ildefonso.