Kapp var født i New York City hvor faren Friedrich Kapp hadde flyttet etter de mislykkede revolusjonene i 1848. Familien vendte tilbake til Tyskland i 1870, da til Berlin. Faren ble senere riksdagsmedlem for Nationalliberale Partei.