Han var sønn av bankmannen og politikeren André Oscar Wallenberg (1816–1886) og Catharina Wilhelmina Andersson (død 1855), gift 1878 med Alice Nickelsen (1858—1956).