Han var sønn av kjøpmannen Johan Wilhelm Wiberg (også kjent som Johan Wiberg Olsen) og Bolette Marie Køhler, og bror av skuespilleren Lauritz Stub Wiberg. I første ekteskap var han gift med Signe Thomsen, og i andre med skuespillerinnen Mary Giertz (1894–1962).