Karens far begikk selvmord i 1895, da hun var ti år gammel. Hennes mor ble alene med fem barn. Wilhelm Dinesen tok sitt eget liv ved å henge seg i den pensjonatleiligheten i København hvor han bodde, når han som folketingsmedlem var på møter i byen. Wilhelm Dinesen hengte seg etter sigende fordi han hadde gjennomlevd politiske nederlag og fått kjønnssykdommen syfilis som dengang ikke kunne helbredes. Den medførte en lang depresjon og fysisk svekkelse. Karens far var 49 år da han valgte «fridøden» som det ble kalt. Karen og hennes fire søsken ble oppdratt av sin mor og mormor. Moren begynte å miste livsgleden og fikk et skjær av sørgmodighet over seg. De to brødrene Thomas og Anders var henholdsvis tre og ett år og for små til å huske sin far, mens hun aldri selv glemte tapet.