Gilsa absolvierte das Gymnasium in Marburg und wurde am 1. April 1825 als einfacher Schütze in der 3. Schützen-Abteilung der Preußischen Armee in Wetzlar angestellt. Er schlug eine Offizierslaufbahn ein, wurde am 17. September 1827 zum Sekondeleutnant befördert und war als solcher ab dem 20. Oktober 1833 Adjutant der ebenfalls in Wetzlar stationierten 4. Schützen-Abteilung. Daran schloss sich ab 7. April 1842 eine Verwendung als Adjutant beim Gouvernement Luxemburg an. Am 28. Mai 1842 folgte seine Beförderung zum Premierleutnant. Unter Belassung in seiner Stellung als Adjutant wurde Gilsa am 24. April 1845 zur 8. Jäger-Abteilung versetzt. Aus dieser Abteilung formierte sich das 8. Jäger-Bataillon, in dem Gilsa ab 12. November 1848 als Hauptmann und Kompaniechef tätig war. Mit dem Bataillon war er an der Niederschlagung der revolutionären Unruhen in Iserlohn beteiligt. Im Anschluss daran wurde das Bataillon in den Südwesten verlegt und nahm hier während der Badischen Revolution an den Kämpfen gegen Aufständische bei Philippsburg, Waghäusel, Durlach, Bischweier und Kuppenheim teil. Dafür wurde Gilsa mit dem Roten Adlerorden IV. Klasse mit Schwertern ausgezeichnet.