Karen Blixens farmor, Dagmar Dinesen, og hennes ugifte tante Mary Westenholz flyttet inn i en fløy på Rungstedlund i 1886. Karen Blixens lillesøster Ellen Dinesen (kalt Elle) ble født samme år, storesøsteren Inger Dinesen (kalt Ea) i 1883. I løpet av de neste seks årene vokste søskenflokken med to gutter, Thomas Dinesen og Anders Dinesen.