Carl Friedrich Zeiss var det femte av de tolv barna til ekteparet Johanna Antoinette Friederike (1786–1856) og Johann Gottfried August Zeiss (1785–1849). Fem av søsknene levde til de nådde voksen alder. Johanna Antoinette Friederike var datter av jurist og byfogd Johann Heinrich Schmith. Johann Gottfried August Zeiss var dreier av utdannelse og arbeidet blant annet med omdannelse av perlemor, rav og elfenben til kostbare smykker og andre verdigjenstander. I denne forbindelse traff han storhertug Karl Fredrik av Sachsen-Weimar (1783–1853) og de to innledet et vennskap som skulle vare i 40 år. Da familiens femte barn ble født var storhertugen gudfar og gutten ble døpt Carl Friedrich.