Kramer tjenestegjorde i konsentrasjonsleiren Dachau 1936–1937, Sachsenhausen 1937 og Mauthausen 1938–1940. I april 1941 ble han utvalgt til Schutzhaftlagerführer i Natzweiler, i Alsace. Schutzhaftlagerführers nærmeste overordnede var leirens kommandant. I oktober 1942 ble Kramer forfremmet til Natzweilers kommandant og innehadde denne posten til mai 1944, da han ble kommandant i Auschwitz-Birkenau. I Birkenau ledet han gassingene av de ungarske jødene. I bebyggelsen av desember 1944 ble han forflyttet til Bergen-Belsen, der han var kommandant til april 1945.