Nach dem Besuch der Kadettenhäuser in Potsdam und Berlin wurde Gaza am 28. April 1849 als charakterisierter Portepeefähnrich dem 26. Infanterie-Regiment der Preußischen Armee überwiesen. Im selben Jahr nahm er während der Niederschlagung der Badischen Revolution an den Gefechten bei Carlsdorf, Ubstadt, Durlach und Freiolsheim teil. Er avancierte bis Mitte Dezember 1850 zum Sekondeleutnant und wurde Mitte Juli 1852 in das 4. Jäger-Bataillon versetzt. Ab Mitte August 1854 war Gaza als Lehrer an die Divisionsschule in Erfurt und 1856/59 als Erzieher an die Kadettenhäuser in Wahlstatt und Berlin kommandiert. Bis Mitte August 1859 stieg Gaza zum Hauptmann auf und wurde mit der Ernennung zum Kompaniechef am 12. November 1861 in das Rheinische Jäger-Bataillon Nr. 8 versetzt. In dieser Eigenschaft nahm er 1866 während des Krieges gegen Österreich an den Kämpfen bei Hühnerwasser, Münchengrätz sowie Königgrätz teil und erhielt den Roten Adlerorden IV. Klasse mit Schwertern.