Karl von Bülow nació el 24 de marzo de 1846 en Berlín, hijo de una distinguida familia militar prusiana. Cuando fue declarado mayor de edad se alistó en el ejército prusiano y fue asignado al Segundo Regimiento de infantería en 1864, siendo destinado a la guerra austro-prusiana en 1866 y convirtiéndose en uno de los soldados clave de la Batalla de Sadowa. Bülow volvió a luchar en la guerra franco-prusiana de 1870 como oficial, siendo galardonado con la Cruz de Hierro de segunda clase. Posteriormente fue ascendido al grado de coronel e incluso se convirtió en director del Departamento Central en el Ministerio de Guerra Alemán. En 1900 fue ascendido a teniente general, siendo comandante del III Cuerpo de Ejército alemán desde 1903 hasta su nombramiento como inspector del Tercer Ejército Alemán en 1912.