Thomas Conrad Hirsch var sønn av Nicoline Hornemann og Robertus Hirsch og bror til Robert Nicolai Hirsch og Christian Hirsch. Han giftet seg i 1841 med Anna Lovise Bjerkebek, hun var søster av Rasmus Brochmann Parelius Gaarders kone Henriette Jacobine.