I september 1933 utnevnte biskopen av Eichstätt, Konrad Graf von Preysing, ham til av Wasserzell bei Eichstätt. Siden den gang har Graber også virket som religionslærer ved det lokale gymnasium og ved lærerseminaret. I september 1934 sluttet Graber seg til (NSV), som ved den nazistiske ensrettelsespolitikken som statlig organisasjon overtok alt arbeid innen arbeidervelferden.