Nach dem Besuch des Gymnasiums in Wetzlar sowie der Kadettenhäuser in Bensberg und Berlin trat Gilsa am 1. Juli 1859 als Husar in das 10. Husaren-Regiment der Preußischen Armee ein. Mitte September 1860 wechselte er als Portepeefähnrich in das Westfälische Infanterie-Regiment Nr. 55 und avancierte ein Jahr später zum Sekondeleutnant. Während des Krieges gegen Dänemark nahm Gilsa 1864 an den Gefechten bei Rackebüll, Lillemölle und nahm am Übergang nach Alsen teil. Dafür erhielt er am 14. August 1864 den Roten Adlerorden IV. Klasse mit Schwertern. Nach dem Krieg war er vom 1. April bis zum 30. September 1865 an die Militär-Schießschule kommandiert.