Planetens presentatör sa att hans arbete förde bort honom i månader vid en tidpunkt då hans två barn, Susan och Robert, växte upp.
Sir David sade till Radio Times: " Om du har ett barn på sex eller åtta år och du missar tre månader av hans eller hennes liv, är det oersättligt. Du missar nåt.
"Kanske kan du inte äta tårtan och äta den."
Attenborough sa att hans fru, Jane, som dog 1997, hade varit mycket "förståelig", dock.
En månad efter att ha firat sin 91:a födelsedag berättade Sir David för intervjuaren Louis Theroux att han tänker på sin egen dödlighet "hela tiden", eftersom "det är mer och mer troligt att jag kommer att dö i morgon."
Frågade om han förväntade sig att något skulle hända efteråt, sa han helt enkelt: "Nej."
När det gäller den globala uppvärmningen varnade Sir David: "Vi bör vara mycket, mycket oroliga för det.... marken är bränd, öknar sprider sig, och haven värms - alla dessa faktorer orsakar stora förändringar i våra förmögenheter."
När sir David tillfrågades om vilket djur han kände släktskap med, svarade han: " Det måste vara en apa. För att vårt släktskap är en verklighet. Jag känner det inte med en mygga eller en val."
Följ oss på Facebook, på Twitter @BBCNewsEnts, eller på Instagram på bbcnewsents. Om du har en berättelse förslag e-post underhållning.news@bbc.co.uk.
Sir David Attenborough säger att hans enda karriär ånger är att missa i tid med sina barn.