Kumm sluttet seg 1. april 1934 til forløperen til SS-Verfügungstruppe i hjembyen Hamburg. Han ble deretter også medlem av NSDAP. Han gjorde karriere innen Schutzstaffel og da felttoget i Polen ble innledet var han kompanisjef i Leibstandarte Adolf Hitler. I april 1940 ble han kommandant for en tyngre avdeling rettet inn mot Nederland. I oktober 1940 ble han utnevnt til SS-Sturmbannführer og under Operasjon Barbarossa ble han utnevnt til SS-Obersturmbannführer. 29. november 1941 ble han tildelt Det tyske kors i gull.