Wilhelm Olssøn var sønn av forvalter på Borregård og senere kjøpmann Edvard Olssøn og hustru Leonore Bredal. Han vokste opp i Horten, Sarpsborg og Gjøvik. Han ble første gang gift i 1872 med Marianne Hoel, datter av proprietær og stortingsmann Nils Hoel, og andre gang i 1885 med hennes søster, Louise Hoel. Han eide storgården Hovinsholm på Ringsaker. Wilhelm Olssøns far var kjøpmann på Gjøvik.