Joséphine Baker var etterkommer av nordamerikanske urinnvånere og av slaver som opprinnelig kom fra Afrika. Hun var uekte barn av vaskekonen Carrie McDonald og den jødiske trommeslageren Eddie Carson, og vokste opp i meget fattige kår.