Jacob Wallenberg var eldste sønn til Marcus Wallenberg og Amalia Hagdahl, bror til bedriftslederen Marcus Wallenberg, og far til arkitekten Peder Wallenberg, som han adopterte og erkjente i 1975.