Charlotte var datter af generalmajor Johannes Wilhelm Anthonius Harbou og filantropen Louise Ulrikke Marianne Hellesen, og kendt under navnet Louise Harbou. Efter faderens deltagelse som officer i 2. Slesvigske krig i 1864, led hans karriere som officer et afbræk, hvilket fik økonomiske følger for familien. Derfor blev der ikke set skævt på at både Charlotte og hendes tre søstre, Dagmar, Alvilda og Inger, ønskede at uddanne sig - det var en nødvendighed.