Il 26 dicembre 2004, la figlia maggiore della coppia, Jane Holland, la suocera di lei Jane e la nipote quindicenne Lucy persero la vita nel terremoto e maremoto dell'Oceano Indiano che colpì Khao Lak in Thailandia. Altri due nipoti sopravvissero invece allo tsunami: Samuel Holland, rimasto illeso, e Alice Holland, che subì invece gravi lesioni agli arti inferiori. Attenborough descrisse il Boxing Day del 2004 come "il giorno peggiore della mia vita".