Se casó en 1858 con Karoline Reimers, con quien tuvo seis hijos: el actor y director teatral Bjørn Bjørnson (1859-1942), Einar Bjørnson (1864-1942), el político Erling Bjørnson (1868-1959); la mezzosoprano Bergliot Bjørnson (1869-1953), casada con el político Sigurd Ibsen; Dagny Bjørnson (1871-1872) y Dagny Bjørnson (1876-1974).