Holbach erwarb seine Schulbildung am Pädagogium seiner Heimatstadt Wiesbaden. 1823 trat er in das Bayerische Kadettenkorps in München ein und 1828 in das 2. Infanterieregiment der Herzoglich Nassauischen Armee. 1842 wurde Holbach zum Hauptmann ernannt. Er nahm 1849 mit den nassauischen Kontingenten an den Feldzügen in Baden und Schleswig-Holstein teil.