Nog in de nacht van de Rijksdagbrand werd Kläber op 28 februari 1933 als prominente communist gearresteerd, maar kwam dankzij de hulp van zijn vrouw weer spoedig vrij. Na zijn vrijlating vluchtte het paar met hulp van een familielid uit familie van industrieelen heimelijk uit Duitsland, eerst naar Tsjecho-Slowakije en later naar Parijs en tenslotte naar Carona (Zwitserland) in Zwitserland. Daar mocht Kläber niet publiceren. Het paar leefde van de opbrengsten van hun mini-landbouw en de inkomsten, die Lisa Tetzner haalde uit een leeropdracht in Basel. Vanwege het Stalinisme brak Kläber in 1938 met de "KPD".