Johan Herman ble født i Lier som sønn av oberst Sigvard Polidor Wollebæk (1835–1920) og hans kone Anine Julie Augusta Dahl (1834–1912). Han var bror til zoologen Alf Wollebæk, og på sin mors side var han etterkommer etter Carl Adolph Dahl og Carl Adolf Dahl.