Horst absolvierte das Gymnasium in Minden und trat am 1. Januar 1857 als Dreijährig-Freiwilliger mit Aussicht auf Beförderung in das 15. Infanterie-Regiment der Preußischen Armee ein. Hier avancierte er im Juli 1859 zum Sekondeleutnant und war 1861 für einige Monate zum Lehr-Infanterie-Bataillon nach Potsdam kommandiert. Am 1. März 1862 wurde Horst zum Adjutanten des Füsilier-Bataillons ernannt und nahm in dieser Eigenschaft 1864 während des Krieges gegen Dänemark an den Gefechten bei Missunde und Rackebül sowie dem Sturm auf die Düppeler Schanzen teil. Neben einer königlichen Belobigung erhielt Horst für sein Verhalten beim Übergang nach Alsen den Roten Adlerorden IV. Klasse mit Schwertern.