C.W.S. Hirsch giftet seg første gang i 1859 med Madzine Nicoline Darre, datter av biskop Hans Jørgen Darre og Ida Wilhelmine Dessen i Trondhjem. De fikk åtte barn før hun døde i 1877. Som enkemann giftet han seg på nytt i 1881 med Caspara Jenssen, datter av brukseier Lauritz Dorenfeldt Jenssen og Karen Amalie Hagerup på Ranheim. Hirsch ble i begge sine ekteskap svoger til brukseier og stortingsmann Lauritz Jenssen, som var gift med en annen datter av biskop Darre, og onkel til ingeniørene og statsrådene Worm Darre-Jenssen og Hans Jørgen Darre-Jenssen. Familien bodde i en bygård i Østre gate (nå Bispegaten), senere i Prinsens gate.