In 1933 werd er brand gesticht in het Rijksdaggebouw. Torgler had de dag voor de brand de Reichstag als laatste verlaten en was – na het vernemen van de brandstichting – die nacht buitenshuis gebleven uit angst voor arrestatie. Dit maakte hem volgens Hermann Göring verdacht, die dan ook een arrestatiebevel tegen hem uitvaardigde. De dag na de brand besloot Torgler zich vrijwillig bij de politie te melden om de beschuldiging te ontkrachten, maar zijn actie had niet het beoogde effect: hij werd gearresteerd en officieel aangeklaagd wegens hoogverraad en brandstichting.