W latach 1822–1830 uczył się w Liceum Krzemienieckim, w którym uczyli się również inni przedstawiciele XIX-wiecznej polskiej inteligencji, m.in. Juliusz Słowacki. W 1830 roku z inicjatywy ojca w wieku lat 17 wstąpił do Korpusu Inżynierów wojsk rosyjskich zostając saperem w carskim korpusie saperów. W tym samym roku wybuchło powstanie listopadowe, aby je stłumić do Królestwa Kongresowego wkroczyła armia rosyjska. Gzowski zdezerterował i przyłączył się do armii polskiej służąc w stopniu podporucznika jako saper w korpusie Dwernickiego. Wziął udział w wygranej przez Polaków bitwie pod Stoczkiem, a w czasie bitwy pod Grochowem został ranny. Po upadku powstania na Wołyniu w kwietniu 1831 roku wraz z 3 Pułkiem Strzelców Konnych, dowodzonym przez Józefa Dwernickiego, przekroczył granicę między Królestwem Kongresowym a Austrią, gdzie został internowany i uwięziony.