Fleischer var sønn av sogneprest Carl Edvard Fleischer (1843–1885), født på Bjørnør prestegård i Sør-Trøndelag. Familien Fleischer stammet fra Elbing i Øst-Preussen, hvor stamfaren Philipp Fleischer var rådsherre, og kom til Norge med kaptein Herman Reinhold Fleischer (ca. 1656–1712). Moren, Johanne Sophie Fergstad (1850–1926), var datter av prost og stortingsmann Sivert Andreas Fergstad (1813–1885) i Stjørdal. Faren døde tidlig i en drukningsulykke. Carl Gustav og moren flyttet så til Trondheim, der han vokste opp. Ved folketellingen i 1901 var han gymnasiast i Kristiania, der han bodde i Johannes Bruns gate 13. Han var bror til biskop Andreas Fleischer.