Attenborough heiratete 1971 die Schauspielerin Jane Seymour; die Ehe wurde 1973 aufgelöst. Im Jahr 1984 heiratete er die Schauspielerin Karen Lewis. Das Paar bekam zwei Söhne: Theaterleiter Tom Attenborough (geboren am 13. Oktober 1986) und Schauspieler Will Attenborough (geboren am 26. Juni 1991). Eine seiner beiden jüngeren Schwestern, Jane Attenborough, kam am 26. Dezember 2004 beim Erdbeben im Indischen Ozean ums Leben.