Gilsa entstammte einer in Mecklenburg ansässigen evangelischen Familie, die auf die zur Althessischen Ritterschaft zählenden von und zu Gilsa zurückgeht. Er besuchte das Königliche Gymnasium in Erfurt. Danach kam er ins Kadettenkorps, wo er auch die Abiturprüfung ablegte. Als Offizier kam er später zum Feldartillerie-Regiment Nr. 25 in Darmstadt. Hieran anschließend wurde Gilsa an der Kriegsakademie in Berlin zum Stabsoffizier ausgebildet und schließlich in den Großen Generalstab abkommandiert. Von 1904 bis 1905 nahm Gilsa außerdem als Mitglied der deutschen Schutztruppe in Südwestafrika an der Niederwerfung des Aufstands der Herero und Nama teil.