Han var sønn av grosserer i Drammen og stortingsrepresentant Svend Adolph Solberg (1831–1890) og Christiane Louise Arbo, og ble utdannet cand.jur. i Christiania i 1888.