Kenny Baker ble født den 24. august 1934 i Birmingham i Storbritannia. Han hadde sin skolegang i Birmingham i Warwickshire og på kostskole i Kent. Hans foreldre var av gjennomsnittlig høyde. Kenny ønsket å følge i farens fotspor og bli gravør, men hadde ikke tilstrekkelig utdannelse til det.