Vuonna 1873 Bülowin isästä tuli Saksan hallituksen ulkoasioiden valtiosihteeri, joka työskenteli valtakunnankansleri Bismarckin alaisuudessa. Samalla nuorempi Bülow aloitti diplomaattiuran. Ensimmäiset lyhyet kiinnitykset olivat Roomaan, Pietariin, Wieniin ja sitten Ateenaan. Vuonna 1876 hänet nimitettiin attaseaksi Pariisiin. Vuonna 1878 Bülow osallistui sihteerinä Berliinin kongressiin. Vuonna 1880 hänestä tuli lähetystön toinen sihteeri.