Plettenberg nedstammet fra en aristokratisk familie fra Westfalen i Tyskland. Hans far var Karl von Plettenberg (1852-1938). Han var gift med Arianne Freiin von Maltzahn og de hadde to døtre og en sønn sammen.