Nach dem Besuch der Elementarschule in seiner Heimatstadt absolvierte Budde die Kadettenanstalten in Bensberg und Berlin und trat dann am 12. April 1869 als Sekondeleutnant in das 1. Kurhessische Infanterie-Regiment Nr. 81 ein. Wenig später nahm er als Zugführer mit seinem Regiment am Deutsch-Französischen Krieg teil. In der Schlacht von Noisseville wurde er durch einen Lungenschuss schwer verwundet und nach seiner Wiederherstellung zunächst ab Frühjahr 1871 bei Bezirkskommando Kassel verwendet. Von 1873 bis 1876 absolvierte Budde dann die Preußische Kriegsakademie. Budde befasste sich insbesondere mit der militärischen Rolle der Eisenbahnen. Für eine Untersuchung zu diesem Thema wurde er von General Helmuth von Moltke persönlich mit dem preußischen Roten Adlerorden IV. Klasse ausgezeichnet. In der Folge war Budde in der Eisenbahnabteilung des Großen Generalstabs an führender Stelle tätig. Am 29. Dezember 1900 nahm er als Generalmajor seinen freiwilligen Abschied aus der Armee. Von Kaiser Wilhelm II. wurde er 1902 zum Staatsminister und preußischen Minister der öffentlichen Arbeiten ernannt. In dieser Funktion nutzte er sein Fachwissen im Eisenbahnwesen, um sich für die ersten Versuchsfahrten von elektrischen Schnelltriebwagen auf der Militärbahn Marienfelde-Zossen bei Berlin in den Jahren 1901 bis 1903 einzusetzen (Geschwindigkeits-Weltrekord von 210,2 km/h). Budde starb 1906 im Amt. Sein Nachfolger im Ministeramt wurde Paul von Breitenbach.