I 1833 hadde en ektet en engelsk dame, Lady Elisabeth Bruce (1807-1848). Da hun døde giftet han seg på ny, denne gang med Anna Lovise Amalie von Zytphen (1818–1903). Danneskiold-Samsøe døde i 1886, og ble bisatt på Gisselfeld.