Nella seconda metà del 1938 Kramer venne destinato al nuovo campo di Mauthausen, creato in Austria per incarcerare i "nemici dello stato" dopo l'annessione, avvenuta a marzo, da parte della Germania. Dopo essere stato promosso SS-Obersturmführer nel gennaio 1939, Kramer divenne aiutante del comandante di Mauthausen Franz Ziereis e, per la prima volta, passò da ruoli subordinati all'interno della burocrazia dei lager al diretto contatto e controllo dei prigionieri che vi erano detenuti.