Joseph Werths farfar het også Joseph Werth, og ble født i 1871 i Schönchen i Det russiske keiserrike. Han ble deportert som kulakk til Kasakhstan i 1929 - med kone og barn. Han døde i 1951. Biskopens mormor var Paulina Demund (født 1881 i Schoenchen - død 1933). Biskopens bestefar på morssiden var Dominic Hoerner (født nær Odessa i Ukraina), og han ble deportert rundt år 1931 til Kasakhstan med familien. Joseph og Paulina Werth (og deres sønn Johannes) var en del av en togdeportasjon på 30.000 etnisk tyske som ble samlet samen under kollektiviseringen og dumpet midt på steppen i Kasakhstan midtvinters i 1929.