Han var sønn av statsråd Valentin C. W. Sibbern i hans første ekteskap. Han var halvbror til sangeren og komponisten Alette Due (1812–1887) og til Georg Sibbern (1816–1901) som ble norsk statsminister i Stockholm.