1938 trat Großmann dem paramilitärischen Sudetendeutschen Freikorps bei. Von dort wurde er am 1. Oktober 1938 nach der Eingliederung des Sudetenlandes ins Deutsche Reich in die SS übernommen. Am 1. November 1938 trat er der NSDAP bei (Mitgliedsnummer 6.855.320). Ab 1940 war Großmann Angehöriger der SS-Totenkopfverbände, die „innenpolitische Knochenbrechergarde“ (Eugen Kogon) des Dritten Reiches. Als Mitglied der "SS-Totenkopf-Standarte V „Dietrich Eckhart“" gehörte er zur Wachmannschaft des KZ Sachsenhausen und war dort „unmittelbar an dem Terror gegen die in diesem Lager eingekerkerten Gegner des nationalsozialistischen Regimes beteiligt“. In der SS bekleidete Großmann jahrelang nur Mannschaftsdienstgrade. Am 20. April 1940, Adolf Hitlers Geburtstag, wurde er SS-Rottenführer, im April 1944 schließlich SS-Unterscharführer. Das Kriegsende erlebte er im Lazarett und in sowjetischer Gefangenschaft.