Han var stasjonert som diplomat i Stockholm og London, før han arbeidet som leder for politisk avdeling i utenriksdepartementet fra 1937 til 1940. I 1935 ble han medlem av Anglo-German Fellowship. Han var virksom som gesandt ved den tyske ambassade i Roma frem til august 1943, og ble deretter satt i ventestand. Fra november 1943 til november 1944 var Bismarck leder for Italia-avdelingen i Auswärtiges Amt.