Nascut a la ciutat de Graz, llavors a l'Imperi austrohongarès, Roschmann era fill del gerent d'una fàbrica de cerveses. Entre 1927 i 1934, va pertànyer al partit feixista austríac Front Patriòtic, i després de l'annexió d'Àustria a l'Alemanya nazi el 1938, va ingressar al partit nazi, i l'any següent en les SS, on va ascendir fins a esdevenir "Hauptsturmführer" (capità).