Bismarck overbeviste Bülow om at gå i Preussens tjeneste, og i 1873 blev han udnævnt til preussisk udenrigsstatssekretær. Frem til sin død var han kanslerens mest loyale medarbejder. I 1875 blev han preussisk fuldmægtig i Forbundsrådet. I 1877 blev han udnævnt til tysk udenrigssekretær (udenrigsminister), og i 1878 var han sammen med Bismarck og fyrst Chlodwig zu Hohenlohe-Schillingsfürst preussisk fuldmægtig ved Berlinerkongressen.