Dee vokste opp i Harlem i New York. Familien leide ut rom til afroamerikanske reisende som i New York da ikke hadde lov til å bo i «hvite hoteller». Rubys stemor sørget for at hun fikk pianotimer. Hun fikk senere gå på Hunter College High School hvor hun tok eksamen med grader i fransk og spansk i 1944. Hun var medlem av Delta Sigma Theta.