Williams giftet seg med skuespillerinnen Barbara Hale i 1946. De hadde møtt hverandre under innspillingen av og fikk to døtre, Jodi og Juanita, og en sønn, skuespilleren William Katt.