Carl Sibbern var gift med Agnes Louise Kierulf, søster av Otto Richard Kierulf og kusine av komponisten Halfdan Kierulf. Sammen fikk ekteparet barna Alethe Sophie Catharine Sibbern (1840–1842), kammerherre Aksel Carl Christian Valentin Sibbern (1842–1899), Kathinka Sibbern (1847–1927), Alethe Sibbern (1851–1851) og kammerherre August Sibbern (1856–1933).