વિલિયમ્સની બહેન કેરોલિન 1772 માં તેમના પિતાના મૃત્યુ બાદ તેમની સાથે રહેવા માટે આવ્યા હતા, અને તે તરત જ તેમને તેમના ખગોળશાસ્ત્રના વ્યવસાયમાં જોડાયા હતા.