જ્યારે તેમના પિતા દુઃખદ 1953 માં મૃત્યુ પામ્યા હતા જ્યારે વિલિયમ્સ માત્ર દોઢ વર્ષનો હતો, તેમની માતા ઔડ્રીએ તેમને તેમના પિતાની વારસો લેવા માટે વરરાજા કરવાનો નિર્ણય કર્યો.