Williams ble født 21. juli 1951 i Chicago i Illinois, og vokste opp i Bloomfield Hills i Michigan og i Marin County i California. Hans far Robert Fitzgerald Williams var av skotsk, walisisk og irsk opphav, og var leder for Ford Motor Company i midtøsten i USA. Williams' mor var født i New Orleans, og fotomodell.