Keyserling ble født ved Schloss Tels-Paddern nær Aizpute, Kurland, en del av Det russiske keiserdømmet, nå en del av Latvia. Han tilhørte en gammel baltisk-tysk adelsfamilie og var fetter av filosofen Hermann Keyserling.