Han ble født på gården By i Stjørdal som sønn av oberstløytnant og stortingsmann Robertus Hirsch og hustru Nicoline Hornemann. Farfaren var major Jacob (Jobst) Conrad von Hirsch på By, mens morfaren var generalmajor Johan Thomas Hornemann på Reppe i Lånke. Han var nok oppkalt etter sin fars kollega, oberstløytnant og stortingsmann Christian Worm Sommerschild. Blant søsknene hans var apoteker Robert Nicolai Hirsch, sogneprest og ordfører Thomas Conrad Hirsch og lege Christian Hornemann Hirsch. Familien Hirsch flyttet til Trondhjem i 1837 og solgte gården.