En av von der Leyens oldemødre var amerikansk, Mary Ladson Robertson (1883–1960) fra Charleston, etterkommer av politikeren James Ladson og plantasjeeieren James H. Ladson; hennes familie var både blant de tidligste engelske kolonistene og blant de rikeste i Charleston, og eide hundrevis av slaver frem til opphevelsen av slaveriet i 1865. På 1700-tallet var familien blant de rikeste i Nord-Amerika, gjennom aktiviteten til forfaren Joseph Wragg som var den største britisk-amerikanske slavehandleren i sin tid. Von der Leyen brukte en kortere tid i 1978 psevdonymet Rose Ladson.