1935 konnte Walzer nach einer Auslandsreise nicht mehr nach Beuron zurückkehren und emigrierte über die Schweiz nach Frankreich. Da er in Deutschland mittlerweile zur „unerwünschten Person“ erklärt worden war, nahm er die französische Staatsangehörigkeit an und lebte in der Abtei Saint-Wandrille in der Normandie. 1937 verzichtete er auf sein Amt als Erzabt von Beuron und flüchtete 1940 vor der Gestapo nach Algerien. Als Militärgeistlicher der französischen Armee in Algerien gründete er während des Zweiten Weltkriegs in Rivet bei Algier das erste Theologenseminar für deutsche Kriegsgefangene, dessen Leiter er von 1943 bis 1946 war. Da eine Rückkehr nach Beuron weiterhin nicht möglich war (dort war seit 1938 Benedikt Baur Erzabt), baute er ab 1950 in Tlemcen in Algerien eine Benediktinerabtei im islamischen Umfeld auf, der er bis 1964 vorstand. Mit dem Algerienaufstand verließ er Algerien und kehrte nach Heidelberg in die Abtei Neuburg zurück.