Holleben strebte nach seiner Promotion den Werdegang eines Dozenten für Öffentliches Recht an, wurde aber durch den Ausbruch des Deutsch-Französischen Krieges davon abgehalten und ab dem 1. August 1870 zum Militärdienst eingezogen. Als Teil der Ersatzreserve wurde Holleben nur flüchtig ausgebildet und schließlich, trotz seines im Vergleich höheren Alters, zum Leib-Garde-Husaren-Regiment überstellt, das zu dieser Zeit bereits vor Paris lag. Mit dieser Einheit nahm Holleben an der Belagerung von Paris sowie an den Schlachten an der Hallue, bei Bapaume und bei Saint-Quentin teil. Für seine Verdienst erhielt Holleben das Eiserne Kreuz II. Klasse. Noch 1871 wurde Holleben zum Sekonde-Lieutenant, im September 1872 zum Premier-Lieutenant der Reserve befördert. Jahre später erfolgte dann im August 1889 noch die Beförderung zum Rittmeister der Reserve.