Han bosatte seg senere på Rungstedlund og giftet sig med Ingeborg Westenholz i 1881. De fikk fem barn deriblant Karen Blixen og Thomas Dinesen.