Kapp giftet seg i 1884 med Margarete Rosenow og kom gjennom henne i kontakt politisk konservative, nasjonalistiske miljøer.