Han var sønn av sogneprest Carl Edvard Fleischer (1843–85) og Johanne Sofie Fergstad (1850–1926). Faren var prest da han druknet på hjemreise fra Osen annekskirke i Sør-Trøndelag Allehelgens søndag 1. november 1885. Både farfaren Andreas Jørgen Fleischer og morfaren Sivert Andreas Fergstad var sogneprester. Broren Carl Gustav Fleischer (1883–1942) ble general. Andreas giftet seg i 1908 med prestedatteren Petra Amalie Margreta Ulsaker (1881–1963) fra Skedsmo. Bryllupet fant sted i Kina.