Bjørnson var gift 1886–1890 med pensjonateier Jenny Sandberg Bjørnson, så 1893–1909 med den norske operasangeren med artistnavnet Gina Oselio og fra 1909 med Eileen Bendix (født Cohn). sammen med Eileen. Eileen hadde jødisk bakgrunn. Broren Erling var aktiv NS-mann under andre verdenskrig.