Williams' første ekteskap var med Valerie Velardi den 4. juni 1978. De to fikk ett barn sammen, Zachary. Dette ekteskapet endte i 1988, og i 1989 giftet han seg for andre gang, med Marsha Garces. De fikk to barn sammen.