Seguidamente obtuvo puestos de dirección en diversos teatros de Múnich, Lübeck, Mannheim, Frankfurt y Viena, antes de asegurarse un empleo en la Staatskapelle de Berlín y en la Staatsoper Unter den Linden (sucediendo a Richard Strauss) en 1920, y en 1922, en la Orquesta de la Gewandhaus de Leipzig (donde sucedió a Arthur Nikisch) y también en la prestigiosa Orquesta Filarmónica de Berlín de la que fue su regente hasta finales de la Segunda Guerra Mundial siendo reemplazado entre 1945 y 1952 por Sergiu Celibidache, regresó en 1952 hasta su muerte en 1954 y fue sucedido por Herbert von Karajan, su rival.