Davis' mor var fra Puerto Rico, og hans far, Sammy Davis sr., var afroamerikansk. Begge foreldrene var varietédansere, og Davis jr. ble oppfostret av farmoren sin. Da han var tre år ble foreldrene separert, og for ikke å miste kontakten tok Davis sr. sønnen med på turné. På turnéen lærte Davis jr. å danse av sin far og Will Mastin, som var leder for dansegruppen. Det tok ikke lang tid før Davis jr. ble en del av showet.