Han var sønn av jernverkseier Diderik von Cappelen (1795–1866) og Edel Severine Margrethe Henriette Løvenskiold. Familien flyttet i 1835 til Holden hovedgård på Ulefoss ved Norsjø, hvor August vokste opp. Moren hadde selv lært å tegne, og man må anta at hennes undervisning ga ham et tidlig og godt grunnlag å bygge videre på. Han var oldebarn av Knud Plesner og dermed tremenning av Henrik Ibsen.