Йозеф Гмайнер родился 22 декабря 1904 года в семье служащего уголовной полиции. После окончания школы в Амберге он изучал юриспруденцию в университетах Мюнхена и Эрлангена. Получил докторскую степень по праву, после чего работал по специальности. В 1923 году принял участие в Пивном путче в составе . В феврале 1934 года был зачислен в СС (№ 186 633). В мае следующего года вступил в НСДАП (билет № 3 656 472). С августа 1938 года в чине правительственного ассесора служил в гестапо города Нойштадт-ан-дер-Вайнштрасе.