Erling Kagge er sønn av jazzjournalisten Stein Kagge (født 1933) og forlagsredaktør Aase Gjerdrum (født 1939). Han er oppvokst i Oslo.