Williams estuvo casado con la actriz Barbara Ruick desde 1956 hasta la muerte de ella por hemorragia intracraneal, el 3 de marzo de 1974.