Hirt var gift to ganger, først med Anna Maria Bollandt, datteren til sin læremester, og etter hennes død med en datter av kantoren Johann Crüger, som han også portretterte. Flere av Hirts sønner fra begge ekteskap ble malere, deriblant Johann Conrad Hirt, født 1641, og Michael Conrad Hirt (1649–1704), som arbeidet mye i Regensburg. Sistnevntes navnelikhet med faren har ført til stadige forvirringer og feilaktige tilskrivelser.