Som marineløjtnant deltog Holst med hæder i den første slesvigske krig og skrev en bog om "Felttogene 1848, 1849 og 1850", en folkelig skildring, der blev meget populær. I mange år var han formand for selskabet De danske Vaabenbrødre.