Josef Gross var sønn av en ordfører i Pfraumberg. Etter eksamen fra i Budweis studerte han katolsk teologi i Praha.