Module 2.7 Estimation of uncertainties
Module Overview
Eric Bullock, Boston University
July 5th, 2016

Source: IPCC GPG LULUCF

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

1
Creative Commons License

Module 2.7 Estimation of uncertainties
Module developers:
Giacomo Grassi, EC Joint Research Centre
Suvi Monni, Benviroc
Frédéric Achard, EC Joint Research Centre
Andreas Langner, EC Joint Research Centre

Martin Herold, Wageningen University

After the course the participants
should be able to:

Source: IPCC GPG LULUCF• Identify sources of uncertainty in the estimates of area change(activity data) and carbon stocks change (emission factor)• Implement the correct steps to calculate uncertainties for estimates inarea change and carbon stock change• Understand the possible treatment of uncertainties in a conservative way
V1, May 2015

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

2
Creative Commons License

Módulo 2.7: Estimación de incertidumbres
Autores del módulo:
Giacomo Grassi, Centro Común de Investigación de la CE
Suvi Monni, Benviroc
Frédéric Achard, Centro Común de Investigación de la CE
Andreas Langner, Centro Común de Investigación de la CE
Martin Herold, Universidad de Wageningen

Al finalizar el curso, los participantes
deben ser capaces de lo siguiente:

Fuente: OBP-UTCUTS, IPCC

• Identificar las fuentes de incertidumbre en las estimaciones del cambio delárea (datos de actividad) y del cambio en las reservas de carbono (factor deemisión)• Implementar los pasos correctos para calcular las incertidumbres para lasestimaciones del cambio del área y el cambio en las reservas de carbono• Comprender el posible tratamiento de las incertidumbres de manera
conservadora

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

V1, mayo de 20153
Licencia de Creative Commons

Aim of this module: Uncertainty estimation

 Building on the IPCC (2003) guidance, this module aims
to provide some basic elements for the identification,
quantification, and combination of uncertainties for theestimates of:- Area and area changes (the activity data, AD)- Carbon stocks and carbon stock changes (theemission factors, EF)

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

4

Objetivo de este módulo: Estimaciónde la incertidumbre A partir de la orientación del IPCC (2003), este módulo
procura brindar algunos elementos básicos para laidentificación, cuantificación y combinación deincertidumbres para las estimaciones de lo siguiente:- Área y cambios del área (los datos de actividad, DA)- Reservas de carbono y cambios en las reservas decarbono (los factores de emisión, FE)

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

5

Outline of Module 2.7
1. Importance of identifying uncertainties

2. General concepts
3. Uncertainties in area-change estimates
4. Uncertainties in carbon stocks change estimates

5. Combination of uncertainties
6. Country examples
7. Exercises

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

6

Esquema de la conferencia
1. Importancia de identificar las incertidumbres

2. Conceptos generales
3. Incertidumbres en las estimaciones del cambio del área4. Incertidumbres en las estimaciones del cambio en las
reservas de carbono

5. Combinación de incertidumbres

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

7

Country examples and exercises
6. Country examples
 Biomass burning Uncertainty analysis: LULUCF in Finland Appling the conservativeness approach to the DRC example (matrix
approach) - See also Exercise 4

7. Exercises

 Uncertainties in area and area change
 Using IPCC equations to combine uncertainties
 Using IPCC equations to assess trend uncertainties
 The REDD+ matrix approach (see xls exercise file and country
example – this exercise is in common with Module 3.3)

 Preparations for Monte Carlo
Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

8

Ejemplos de países y ejercicios
Ejemplos de países
1. Quema de la biomasa
2. Análisis de la incertidumbre: UTCUTS en Finlandia

3. Aplicación del enfoque de principio conservador al ejemplo de República
Democrática del Congo (enfoque de matriz). Consulte también el ejercicio 4

Ejercicios
1. Incertidumbres de área y cambio del área2. Uso de ecuaciones del IPCC para combinar incertidumbres
3. Uso de ecuaciones del IPCC para evaluar incertidumbres de tendencias
4. El enfoque de la matriz de REDD+ (consulte el archivo xls del ejercicio y elejemplo de país. Este ejercicio está compartido con el módulo 3.3)
5. Preparaciones para Monte Carlo

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

9

Systematic errors and random errors
 Uncertainty consists of two components:● Bias or systematic error (lack of accuracy) occurs, e.g., due

to flaws in the measurements or sampling methods or due to
use of an EF that is not suitable● Random error (lack of precision) is a random variation above
or below a mean value. It cannot be fully avoided but can be
reduced by, for example, increasing the sample size.

Accuracy: agreement between estimates and exact or true values
Precision: agreement among repeated measurements or estimates(A) Accurate but not precise(B) Precise but not accurate(C) Accurate and precise

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

10

Errores sistemáticos y errores aleatorios (1/2)
 La incertidumbre consta de dos componentes:● El sesgo o error sistemático (falta de exactitud) se produce, por

ejemplo, debido a falencias en las mediciones o en los métodos demuestreo o debido al uso de un FE que no es adecuado.

● El error aleatorio (falta de precisión) es una variación aleatoria por
encima o por debajo de un valor medio. No puede evitarse
totalmente pero puede reducirse, por ejemplo, aumentando eltamaño de la muestra.

Exactitud: coincidencia entre las estimaciones y los valores exactos o verdaderos
Precisión: coincidencia entre mediciones o estimaciones repetidas(A) Exacto pero no preciso (B) Preciso pero no exacto (C) Exacto y preciso

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

11

Random errors and systematic errors

 Uncertainty of carbon stocks can be caused by bothrandom errors and systematic errors, but sometimes it
may be difficult to distinguish between the two.

RepresentativenessConversion of tree
measurement tobiomass (allometricequations or BEFs)
sampling
errors (plotsize/number)

Instrument
imprecision/
bias

completeness

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

12

Errores aleatorios y errores sistemáticos

 La incertidumbre de las reservas de carbono puede sercausada tanto por errores aleatorios como por errores
sistemáticos, pero a veces puede ser difícil hacer una
distinción entre los dos.

Representatividad

Conversión de la
medición del árbol enbiomasa (ecuaciones
alométricas o FEB)
Errores demuestreo(tamaño/cantidadde parcelas)

Integridad
Imprecisión delinstrumento/sesgo

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

13

Uncertainties due to random errors

 Instrumental imprecision (noise,
wrong handling, etc.)

 Sampling errors (i.e., plot size andnumber), common with high naturalvariation of biomass in tropical forests

Biomass depends on temperature, precipitation, forest typeand species, stratification, spatial scale, natural and humandisturbances, soil type, and soil nutrients.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

14

Incertidumbres debidas a errores
aleatorios Imprecisión instrumental (ruido,
manipulación incorrecta, etc.)

 Errores de muestreo (es decir, tamaño
y cantidad de parcelas), comunes con
una alta variación natural de labiomasa en los bosques tropicales

La biomasa depende de la temperatura, la precipitación, el
tipo de bosque y especie, la estratificación, la escalaespacial, las perturbaciones naturales y humanas, el tipo desuelo y los nutrientes del suelo.
Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

15

Uncertainties in area changes
 In REDD+ context, an estimate of area and/or area change

typically results from analysis of a remote-sensing-based map.

 Such maps are subject to classification errors that induce bias
into estimations.

 A suitable approach is to assess the accuracy of the map

and use the results of the accuracy assessment to adjust thearea estimates.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

16

Incertidumbres en los cambios del área
 En el contexto de REDD+, una estimación del área o cambiodel área surge generalmente del análisis de un mapa basado
en la detección remota.

 Dichos mapas están sujetos a errores de clasificación que
inducen a sesgos en las estimaciones.

 Un enfoque adecuado es evaluar la exactitud del mapa yutilizar los resultados de la evaluación de exactitud para
ajustar las estimaciones del área.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

17

Accuracy assessment of land cover and changes
Use of accuracy assessment results for area estimation

 The aim of the accuracy assessment is to characterize thefrequency of errors (omission and commission) for each land
cover class.

 Differences in these two errors may be used to adjust area

estimates and also to estimate the uncertainties (confidence
intervals) for the areas for each class.

 Adjusting area estimates on the basis of a rigorous accuracy

assessment represents an improvement over simply reporting
the areas of map classes.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

18

Evaluación de exactitud de la cubierta terrestre
y de los cambios
Uso de los resultados de la evaluación de exactitud para laestimación del área El objetivo de la evaluación de exactitud consiste en clasificar la
frecuencia de los errores (omisión y comisión) para cada clase decubierta terrestre.

 Las diferencias en estos dos errores pueden utilizarse para ajustar las
estimaciones del área y también para estimar las incertidumbres(intervalos de confianza) para las áreas de cada clase.

 El ajuste de las estimaciones del área a partir de una evaluación
rigurosa de la exactitud representa una mejora con respecto a lasimple presentación de informes de las áreas de las clases de mapas.
Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

19

Accuracy assessment of land cover and changes

 For land-cover maps the accuracy of remote sensing data

(single-date) may be assessed with widely accepted methods.

 These methods involve assessing the accuracy of a map using

independent reference data (of greater quality than the map) to
obtain—by land-cover class or by region—the overall accuracy,and:• Errors of omission (excluding an area from a category towhich it does truly belongs, i.e., area underestimation)• Errors of commission (including an area in a category towhich it does not truly belong, i.e., area overestimation)

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

20

Evaluación de exactitud de la cubierta terrestre
y de los cambios

 Para los mapas de la cubierta terrestre puede evaluarse laexactitud de los datos de detección remota (fecha única) con
métodos ampliamente aceptados.

 Estos métodos implican la evaluación de la exactitud de unmapa con datos de referencia independientes (de mayor calidad
que el mapa) para obtener, por clase de cubierta terrestre o por
región, la exactitud general, y:• Errores de omisión (con excepción de un área de una

categoría a la que pertenece verdaderamente, es decir,
subestimación del área)• Errores de comisión (incluida un área de una categoría ala que no pertenece verdaderamente, es decir,
sobrestimación del área)Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

21

Stratified estimation

7/05/16

Stratum

Area [ha] ± 95% CI

User’sProd’sOverall

1 Nonforest

7,491,658 ± 361,859

0.942

0.939

0.942

2 Forest

8,950,261 ± 362,388

0.951

0.953

3 Water

501,212 ± 89,865

0.966

0.910

4 Loss

1,137,007 ± 150,073

0.875

0.923

5 Gain83,497 ± 84,040

0.562

0.489

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

22

Accuracy assessment of land cover and changes
For land-cover changes, additional considerations apply: It is usually more difficult to obtain suitable, multitemporalreference data of greater quality to use as the basis of theaccuracy assessment, particularly for historical time frames.

 Since the changed classes are often small proportions oflandscapes, it is easier to assess errors of commission (byexamining small areas identified as changed) than errors ofomission (by examining large area identified as unchanged).

 Other errors such as geo-location of multitemporal datasets

and inconsistencies in processing/analysis and in cartographic/thematic standards are exaggerated and more frequent inchange assessments.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

23

Evaluación de exactitud de la cubierta terrestre y de loscambios
Para los cambios de la cubierta terrestre, se aplican consideraciones
adicionales: En general, es más difícil obtener datos de referencia multitemporales
adecuados de mayor calidad para utilizar como base de la evaluación deexactitud, en especial para plazos históricos.

 Debido a que las clases cambiadas a menudo son proporciones pequeñas depaisajes, es más fácil evaluar errores de comisión (examinando áreas
pequeñas identificadas como cambiadas) que errores de omisión (examinando
un área grande identificada como no cambiada).

 Otros errores como la geoubicación de los conjuntos de datos multitemporales
y las incongruencias en el procesamiento/análisis y en estándares
cartográficos/temáticos son exagerados y más frecuentes en las evaluaciones

de cambio.
Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

24

Errors in area-change estimates: Example
Why errors in area-change estimates are more frequent thanerrors in area estimates
Map at time 1

Map at time 2

Overlap (change)

Omission error (forest reported as nonforest)
Commission error (nonforest reported as forest)
False afforestation
False deforestation

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

25

Errores en las estimaciones del cambiodel área: Ejemplo
Por qué los errores en las estimaciones del cambio del área son más
frecuentes que los errores en las estimaciones del áreaMapa en momento 1 Mapa en momento 2 Superposición (cambio)

Error de omisión (área forestal informada como no forestal)
Error de comisión (área no forestal informada como forestal)
Falsa aforestación
Falsa deforestación

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

26

Addressing sources of uncertainty in area-change
Many of these sources of uncertainty can be addressed using
widely accepted data and approaches: Suitable of satellite data: Landsat-type data, for example,

have been proven useful for national-scale land cover changes
for MMU of 1 ha

 Data quality: suitable preprocessing for most regions provided
by some data providers (i.e., global Landsat Geocover) Consistent and transparent mapping: same cartographic

and thematic standards and accepted interpretation methods
should be applied transparently using expert interpreters

The accuracy assessment should provide measures of thematic
accuracy and confidence intervals for estimates of activity data
Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

27

Tratamiento de las fuentes
de incertidumbre
Muchas de estas fuentes de incertidumbre pueden considerarse utilizando datos y enfoques
ampliamente aceptados: Pertinencia de los datos satelitales: los datos de tipo Landsat, por ejemplo, han resultadoútiles para los cambios de la cubierta terrestre a escala nacional para UMM de 1 ha.

 Calidad de los datos: algunos proveedores de datos ofrecen un preprocesamiento
adecuado para la mayoría de las regiones (es decir, Landsat Geocover mundial).

 Mapeo congruente y transparente: se deben aplicar los mismos estándares cartográficos
y temáticos y métodos de interpretación aceptados de forma transparente con intérpretes
expertos.

La evaluación de exactitud debe proporcionar medidas de exactitud temática e intervalos deconfianza para las estimaciones de datos de actividad.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

28

Building additional confidence in estimates
Information obtained without a proper probability sample design
can still be useful to build confidence in the estimates, e.g.: Spatially-distributed confidence values provided by theinterpretation

 Systematic qualitative examinations of the map andcomparisons (qualitative / quantitative) with other maps

 Review by local and regional experts
 Comparisons with non-spatial and statistical data
Any uncertainty bound should be treated conservatively to avoid
producing a benefit for the country (overestimation of removals
or of emissions reductions)

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

29

Generar confianza en las estimaciones
La información obtenida sin un diseño adecuado de la muestra
de probabilidad aún puede ser útil para generar confianza en lasestimaciones, por ejemplo:

 Valores de confianza distribuidos espacialmente
proporcionados por la interpretación

 Exámenes cualitativos sistemáticos del mapa y comparaciones(cualitativas/cuantitativas) con otros mapas

 Revisión de expertos locales y regionales
 Comparaciones con datos no espaciales y estadísticos
Cualquier límite de incertidumbre debe tratarse de forma
conservadora para evitar generar un beneficio para el país(sobrestimación de absorciones o de reducción de las emisiones)
Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

30

Uncertainties in carbon stock changes

 Assessing uncertainties of the estimates of C stocks andC stocks changes is usually more challenging (and
often subjective) than estimating uncertainties of thearea and area changes

 According to the literature, the overall uncertainty for C

stocks estimates is usually larger than the uncertainty
for area estimates. However, when looking at changes(i.e. trends) in C stocks and areas, the picture may
change, depending on possible correlation of errors (seelater)

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

31

Incertidumbres en los cambios
en las reservas de carbono La evaluación de las incertidumbres de las estimaciones
de las reservas de C y los cambios en las reservas de C
suele ser más compleja (y a menudo subjetiva) que laestimación de las incertidumbres del área y de cambios
en el área.

 De acuerdo con la bibliografía, la incertidumbre generalde las estimaciones de las reservas de C suele ser más
grande que las incertidumbres de las estimaciones delárea. Sin embargo, cuando se observan los cambios (esdecir, tendencias) en las reservas y áreas de C, laimagen puede cambiar, según la posible correlación delos errores (véanse las próximas diapositivas).

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

32

Addressing sources of uncertainty in carbon stock
It is often more difficult to address sources of uncertainty incarbon stock estimation or carbon stock change estimation.
Some suitable strategies include: Evaluating the most appropriate algometric equation to use forthe study site.

 Address the completeness of the carbon pool – not just aboveground.

 Use of representative sample sites

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

33

Combination of uncertainties

 The uncertainties in individual parameters can be
combined using either:● Error propagation (IPCC Tier 1), which is easy to
implement using a spreadsheet tool; certain conditions
have to be fulfilled so that it can be used.

● Monte Carlo simulation (IPCC Tier 2), based onmodelling and requiring more resources to be
implemented; it can be applied to any data or model.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

34

Combinación de incertidumbres

 Las incertidumbres en los parámetros individuales
pueden combinarse con los siguientes métodos:● Propagación de error (nivel 1 del IPCC), que es fácilde implementar con una herramienta de hoja decálculo; tienen que cumplirse determinadas
condiciones para que pueda ser utilizada.

● Simulación de Monte Carlo (nivel 2 del IPCC), basado enel modelado y que requiere más recursos para su
implementación; se puede aplicar a cualquier dato omodelo.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

35

Reporting of uncertainties
Uncertainties should be reported with a standardized format

See GOFC-GOLDC (2014, sect. 4) Sourcebook
for explanation of notes.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

36

Evaluación de la tendencia del nivel 1 (2/2)
Cuadro para combinar las incertidumbres de nivel y tendencia con el nivel 1

K2 + L2

La evaluación de la tendencia y el cálculo de la incertidumbre total delnivel 1 pueden llevarse a cabo con este cuadro.
Consulte la explicación de las notas en el Libro de consulta de GOFCGOLD (2014), sección 2.7.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

37

To make REDD+ happen:

Geography

Statisticalinference

Forestry

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

38

Stratified estimation

7/05/16

Questions?

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

39

References
Baccini, A., S.J. Goetz, W. S. Walker, N. T. Laporte, M. Sun, D. Sulla-Menashe, J. Hackler, P.S. A. Beck, R.
Dubayah, M. A. Friedl, et al. 2012. “Estimated Carbon Dioxide Emissions from Tropical Deforestation
Improved by Carbon-Density Maps.” Nature Climate Change 2: 182–185.

Brown, S. 1997. “Estimating Biomass and Biomass Change of Tropical Forests: A Primer.” FAO Forestry
Papers 134. Rome, Italy: FAO. http://www.fao.org/icatalog/search/dett.asp?aries_id=7736.



Card, D. H. 1982. “Using Known Map Category Marginal Frequencies to Improve Estimates of Thematic
Map Accuracy.” Photogrammetric Engineering and Remote Sensing 48: 431–439.



Chave, J., R. Condit, S. Aguila, A. Hernandez, S. Lao, and R. Perez. 2004. “Error Propagation and
Scaling for Tropical Forest Biomass Estimates.” Philosophical Transactions of the Royal Society B 359:
409–20.



Chave, J., A. Andalo, S. Brown, M. A. Cairns, J. Q. Chambers, D. Eamus, H. Foelster, F. Fromard, N.
Higuchi, T. Kira, J-P Lescure, B. W. Nelson H. Ogawa, H. Puig, B. Riera, and T. Yamakura. 2005. “Tree
Allometry and Improved Estimation of Carbon Stocks and Balance in Tropical Forests.” Oecologia 145:
87–99.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

40



Clark, D. B., and D. A. Clark. 2000. “Landscape-scale Variation in Forest Structure and Biomass in a
Tropical Rain Forest.” Forest Ecology Management 137: 185–198.

Feldpausch, T. R., J. Lloyd, S. L. Lewis, R. J. W. Brienen, M. Gloor, A. Monteagudo Mendoza, G. LopezGonzalez, L. Banin, K. Abu Salim, K. Affum-Baffoe, et al. 2012. “Tree Height Integrated into Pantropical
Forest Biomass Estimates.” Biogeosciences 9: 3381–3403.



Freibauer, A. 2007. “Soil Carbon Losses by Deforestation in the Tropics.” PowerPoint presentation.
https://seors.unfccc.int/seors/attachments/get_attachment?code=L1NPQ1Y0F267LFN0O8Y2F43H78MJW
8ZA.

Fuller, R. M., G. M. Smith, and B. J. Devereux. 2003. “The Characterization and Measurement of Land
Cover Change through Remote Sensing: Problems in Operational Applications?” International Journal ofApplied Earth Observation and Geoinformation. 4: 243–253.



GFOI (Global Forest Observations Initiative). 2014. Integrating Remote-sensing and Ground-based
Observations for Estimation of Emissions and Removals of Greenhouse Gases in Forests: Methods andGuidance from the Global Forest Observations Initiative. (Often GFOI MGD.) Geneva, Switzerland:Group on Earth Observations, version 1.0. http://www.gfoi.org/methods-guidance/.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

41



GOFC-GOLD (Global Observation of Forest Cover and Land Dynamics). 2014. A Sourcebook of Methods
and Procedures for Monitoring and Reporting Anthropogenic Greenhouse Gas Emissions andRemovals Associated with Deforestation, Gains and Losses of Carbon Stocks in Forests Remaining
Forests, and Forestation. (Often GOFC-GOLD Sourcebook.) Netherland: GOFC-GOLD Land Cover
Project Office, Wageningen University. http://www.gofcgold.wur.nl/redd/index.php.

Grassi, G., S. Monni, S. Federici, F. Achard, and D. Mollicone. 2008. “Applying the ConservativenessPrinciple to REDD to Deal with the Uncertainties of the Estimates.” Environmental Research Letters 3(3).

Grassi, G., S. Federici, and F. Achard. 2013. “Implementing Conservativeness in REDD+ Is Realistic andUseful to Address the Most Uncertain Estimates.” Climatic Change 119: 269–275.
http://link.springer.com/article/10.1007%2Fs10584-013-0780-x.

Houghton, R. A. 2005. “Aboveground Forest Biomass and the Global Carbon Balance.” Global Change
Biology 11: 945–58.



Houghton, R. A., et al. 2001. “The Spatial Distribution of Forest Biomass in the Brazilian Amazon: A
Comparison of Estimates.” Global Change Biology 7: 731–46.



IPCC, 2003. 2003 Good Practice Guidance for Land Use, Land-Use Change and Forestry, Prepared by the
National Greenhouse Gas Inventories Programme, Penman, J., Gytarsky, M., Hiraishi, T., Krug, T., Kruger,
D., Pipatti, R., Buendia, L., Miwa, K., Ngara, T., Tanabe, K., Wagner, F. (eds.). Published: IGES, Japan.
http://www.ipcc-nggip.iges.or.jp/public/gpglulucf/gpglulucf.html (Often referred to as IPCC GPG)

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

42



IPCC 2006. 2006 IPCC Guidelines for National Greenhouse Gas Inventories. Volume 4: Agriculture,
Forestry and Other Land Use. Prepared by the National Greenhouse Gas Inventories Programme,
Eggleston H.S., Buendia L., Miwa K., Ngara T. and Tanabe K. (eds). Published: IGES, Japan.
http://www.ipcc-nggip.iges.or.jp/public/2006gl/vol4.html (Often referred to as IPCC AFOLU GL)

Keller, M., M. Palace, and G. Hurtt. 2001. “Biomass Estimation in the Tapajos National Forest, Brazil;
Examination of Sampling and Allometric Uncertainties.” Forest Ecology Management 154: 371–382.

Langner, A., F. Achard, G. Grassi, and M. Bucki. “Can Recent Pan-Tropical Biomass Maps Be Used as
Improved Tier 1 Level Emission Factors for Reporting for REDD+ Activities under the UNFCCC?” In
preparation.



Lehtonen, A., E. Cienciala, F. Tatarinov, and R. Makipaa. 2007. “Uncertainty Estimation of Biomass
Expansion Factors for Norway Spruce in the Czech Republic.” Annals of Forest Science 64: 133–140



Lowell, K. 2001. “An Area-Based Accuracy Assessment Methodology for Digital Change Maps.”
International Journal of Remote Sensing 22: 3571–3596.



McRoberts, R. E. 2014. Post-classification approaches to estimating change in forest area using remotelysensed auxiliary data. Remote Sens Environ. doi: 10.1016/j.rse.2013.03.036.



McRoberts, R E., W. B. Cohen, E. Næsset, S. V. Stehman, and E. Tomppo. 2010. “Using Remotely Sensed
Data to Construct and Assess Forest Attribute Maps and Related Spatial Products.” Scandinavian Journalof Forest Research 25 (4): 340–367.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

43

McRoberts, R. E., and B. F. Walters. 2012. “Statistical Inference for Remote Sensing-Based Estimates of
Net Deforestation.” Remote Sensing of Environment 124: 394–401.

Mitchard, E. T. A., S. S. Saatchi, A. Baccini, G. P. Asner, S. J. Goetz, N. L. Harris, and S. Brown. 2013.
“Uncertainty in the Spatial Distribution of Tropical Forest Biomass: A Comparison of Pan-Tropical Maps.”
Carbon Balance and Management 8: 10.



Olofsson, P., G. M. Foody, S. V. Stehman, and C. E. Woodcock. 2013. “Making Better Use of Accuracy
Data in Land Change Studies: Estimating Accuracy and Area and Quantifying Uncertainty Using
Stratified Estimation.” Remote Sensing Environment 129: 122–31.

Pelletier, J., N. Ramankutty, C. Potvin. 2011. “Diagnosing the Uncertainty and Detectability of Emission
Reductions for REDD+ Under Current Capabilities: An Example for Panama.” Environmental Research
Letters 6: 024005.



Pelletier, J., K. R. Kirby, and C. Potvin. 2012. “Significance of Carbon Stock Uncertainties on Emission

Reductions from Deforestation and Forest Degradation in Developing Countries.” Forest Policy andEconomics 24: 3–11.



Saatchi, S. S., N. L. Harris, S. Brown, M. Lefsky, E. T. A. Mitchard, W. Salas, B. R. Zutta, W. Buermann,
S. L. Lewis, S. Hagen et al. 2011. “Benchmark Map of Forest Carbon Stocks in Tropical Regions acrossThree Continents.” Proceedings of the National Academies of Science 108: 9899–9904.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

44



Sannier, C., McRoberts, R.E., Fichet, L.-V., & Makaga, E. (2014). Application of the regression
estimator to estimate Gabon forest cover area and net deforestation at national level. Remote Sensing
of Environment doi:10.1016/j.rse.2013.09.015.

Sierra, C. A., et al. 2007. “Total Carbon Stocks in a Tropical Forest Landscape of the Porce Region,
Colombia.” Forest Ecology Management 243: 299–309.

Stehman, S.V. (2009). Model-assisted estimation as a unifying framework for estimating the area ofland cover and land-cover change from remote sensing. Remote Sensing of Environment 113 :2445-2462



Stehman, S. V., T.L. Sohl, and T. R. Loveland. 2003. “Statistical Sampling to Characterize Recent UnitedStates Land-Cover Change.” Remote Sensing of Environment 86: 517–529.

Strahler, A., L. Boschetti, G. M. Foody, al. 2006. Global Land Cover Validation: Recommendations for
Evaluation and Accuracy Assessment Of Global Land Cover Maps—Report of Committee of Earth
Observation Satellites (CEOS) Working Group on Calibration and Validation (WGCV). Luxembourg:
European Communities.



Van Oort, P. A. J. 2007. “Interpreting the Change Detection Error Matrix.” Remote Sensing ofEnvironment 108: 1–8.



Wulder, M., S. E. Franklin, J. C. White, J. Linke, and S. Magnussen. 2006. “An Accuracy Assessment
Framework for Large Area Land-Cover Classification Products Derived from Medium Resolution Satellite
Data.” International Journal of Remote Sensing 27: 663–683.

Module 2.7 Estimation of uncertainties
REDD+ training materials by GOFC-GOLD, Wageningen University, World Bank FCPF

45