Som kadett var han med i forsvaret av København i 1807, og ble offiser året etter. Hirsch var premierløytnant i Den nordenfjelske skiløperbataljon fra 1814 og i Den trondhjemske brigade fra 1818, kaptein fra 1825, major fra 1838 og oberstløytnant fra 1840. Han fikk skjøte på By av faren i 1821, men tok med seg familien til Trondhjem i 1837 og solgte gården i 1840. Ole Løchen drev noe senere brenneri på By, mens Ole Øvre Richter på Mæle kjøpte halvparten av jorden. Hirsch tok avskjed fra militæret i 1847.