Diddi Cappelen var født 17. mars 1873 på «Lilleklosteret» i Solum. Han flyttet i 1882 til Gjemsø kloster med familien, da faren Didrik Cappelen overtok stedet. Hovedbygningen brant i 1885, deretter bodde familien først i «Lagaardgården» på Klosterøya, senere i Tinn i Telemark. Faren bodde sist på Løberg gård i Gjerpen.