Bonnier giftet seg i 1854 med Betty Rubenson. Sammen fikk de tre barn, Jenny (1855), Karl Otto (1856) og Eva (1857). Betty døde i 1888. Bonnier fikk senere to sønner, Albert Nikolaus (1890) og Sven Albert (1894), med den mye yngre Ebba Herván (født 1860), som han var forlovet med.