Joseph Wolffs far David Wolff (født 1760) var i 1790 rabbiner i Weilersbach (da del av Kissingen i Halle) og Uehlfeld, var rabbiner i Jebenhausen i Württemberg mellom 1804 og 1807, og sendte sønnen til det lutherske lyceum i Stuttgart.