Karl von Bülow nagy múltú porosz katonacsaládban született 1846. március 24-én. Katonai szolgálatát 1864-ben kezdte a 2. gyalogos gárdaezrednél. Részt vett az 1866-os osztrák–porosz háborúban, ahol Königgrätznél kitüntette magát. Az 1870-es porosz–francia háborúban megkapta a másodosztályú Vaskeresztet. 1877-től századosként a vezérkarnál szolgált, 1893-ban pedig ezredessé léptették elő és megkapta a 4. gárdaezred parancsnokságát. 1897-ben vezérőrnagyként a hadügyminisztériumhoz került, 1901-ben pedig már mint altábornagy lett a 2. gárdahadosztály parancsnoka. Egy évvel később a vezérkarnál volt hadbiztos, majd 1903-tól a III. hadtest parancsnokságát bízták rá. 1912-ben vezérezredessé léptették elő és rábízták a III. hadtest felügyelőségét "(General-Inspekteur)".