Karen Holmsen var datter av byråsjef, senere sorenskriver Clemet Holmsen (1796–1862) og Nicoline Caroline Nielsen (1807–1854). Hun ble i 1880 gift med sin tremenning, godseier Peter Ferdinand Fischer på Ottarsrud ved Drøbak.