Tre måneder før sin død ble han 9. september 1963 valgt til formann for Den sosialistiske internasjonale. 14. desember døde Ollenhauer etter langvarig sykdom i Bonn.