Han ble født inn i embedsmannsslekten Hirsch som sønn av oberstløytnant og stortingsmann Robertus Hirsch og hustru Nicoline Hornemann på gården By i Stjørdal. Blant søsknene hans var sogneprest og ordfører Thomas Conrad Hirsch, lege Christian Hornemann Hirsch og dommer, banksjef og ordfører Christian Hirsch. Han giftet seg i 1849 med Edvarda Carstens, datter av kjøpmann Jacob Johannes Carstens i Trondhjem.