Sommeren 1940 tjenestegjorde Grossmann ved Sipo-kontoret i Oslo, der han jobbet med kirkesaker og religiøse spørsmål. Vinteren 1941 begynte han å arbeide for Wilhelm Wagners Gestapo-avdeling for «Jøde-, frimurer- og kirkesaker», og han var leder for de tyske vaktstyrkene på skipene «Donau» og «Gotenland» da hundrevis av norske jøder ble deportert til kontinentet og senere drept.