בעקבות שריפת הרייכסטאג ב-פברואר 1933 קרמר נעצר ונשלח לכלא לשלוש שנים באשמת בגידה. בינואר 1937 נעצר שוב ונשלח למחנה הריכוז ליכטנבורג ובאוגוסט הועבר לבוכנוואלד.