Das Exil nutzte Kaiser zum Studium in belgischen, französischen und niederländischen Bibliotheken und entdeckte unbekannte Veröffentlichungen von Klassikern der Arbeiterbewegung, darunter von Friedrich Engels. In Belgien wurde Kaiser nach Kriegsbeginn interniert und nach Frankreich in das Lager Gurs überführt, wo seine Tuberkulose wieder ausbrach. Französische Kommunisten in Marseille sorgten für eine Heilbehandlung in der Schweiz, wo Kaiser im Kanton Baselland erneut interniert wurde. Man erlaubte ihm, im Stadtarchiv von Liestal den Nachlass von Georg und Emma Herwegh zu ordnen. 1946 konnte dank seiner Inventarisierungsarbeit das Dichtermuseum Liestal (seit 2001 Dichter- und Stadtmuseum Liestal) eröffnet werden. Ab September 1943 lebte er in Basel bei einem privaten Unterstützer an einem sogenannten Freiplatz. Dieser war durch ein evangelisches Hilfswerk für Flüchtlinge vermittelt worden.