Op 1 december 1931 werd Kumm lid van de NSDAP en werd dezelfde maand nog als SS-Mann in de SS opgenomen. Op 1 april 1934 ging hij als vrijwilliger met de rang van een SS-Sturmführer in de "I./SS-Standarte „Germania“" bij de SS-Verfügungstruppe in Hamburg. In augustus 1934 werd hij het hoofd van een politieke eenheid in Hamburg. Inmiddels SS-Obersturmführer, werd hij in juli 1935 chef van de 4. (MG-)Kompanie van de Standarte. In september 1935 volgden zijn bevordering tot SS-Hauptsturmführer. Vanaf december 1936 diende hij als chef van de 2e compagnie van de "SS-Standarte „Deutschland“" in München. Na de Anschluss, werd Kumm in maart 1938 compagniescommandant van de "SS-Standarte „Der Führer“" gestationeerd in Klagenfurt. Met deze eenheid nam hij aan de Poolse Veldtocht deel. In april 1940 nam hij het commando van de zware compagnie over en nam aan de Fall Gelb en Fall Rot deel. Tijdens deze gevechten werd hij tot commandant van het 3e bataljon benoemd. Op 1 april 1940 werd hij bevorderd tot SS-Sturmbannführer. In het voorjaar van 1941 nam Kumm als onderdeel van het 2. SS-Panzer-Division Das Reich aan de Balkanveldtocht deel. Begin juni begon het klaarmaken voor de aanval op de Sovjet-Unie in het gebied rond Lublin. Op 12 juli 1941 nam van Georg Keppler het commando van de "SS-Regiment „Der Führer“" over.