Fürstenberg besuchte die Ritterakademie in Bedburg, trat anschließend am 1. Dezember 1855 als Kürassier in das 4. Kürassier-Regiment der Preußischen Armee ein und avancierte bis Mitte April 1857 zum Sekondeleutnant. Nach seiner Teilnahme am Krieg gegen Dänemark 1864 stieg er Mitte Oktober 1865 zum Premierleutnant auf und wurde 1866 im Deutschen Krieg bei der Mainarmee in den Gefechten bei Dermbach, Aschaffenburg, Tauberbischofsheim und Gerchsheim eingesetzt. Nach dem Krieg avancierte Fürstenberg Mitte April 1867 zum Rittmeister und Chef der 5. Eskadron, die er 1870/71 im Krieg gegen Frankreich in den Schlachten bei Vionville und Gravelotte sowie in den Gefechten bei Puiseux und Droué führte. Für sein Wirken erhielt er das Eiserne Kreuz II. Klasse und sein Regimentschef Großherzog Peter II. zeichnete ihn mit dem Ritterkreuz II. Klasse des Oldenburgischen Haus- und Verdienstordens des Herzogs Peter Friedrich Ludwig mit Schwertern aus.