Kitt ble født i byen North i delstaten Sør-Carolina i 1927. Hun skal ha vært et resultat av en voldtekt, en hvit sønn av en plantasjeeier voldtok moren hennes. Kitt havnet i New York som niåring, og tenårene tilbrakte hun på gaten, eller når hun var heldig, hos venner, før hun sang og danset seg opp av rennestenen.