Dos años después de su nacimiento, el 11 de julio de 1929, su familia se mudó a Tittmoning y el 5 de diciembre de 1932 se mudó nuevamente, esta vez a Aschau am Inn y fue aquí que Joseph vivió su tiempo escolar, en la década de los 30, después del fortalecimiento del nacionalsocialismo.