Williams var datter av filosofen og statsviteren George Catlin (1896-1979) og feministen og forfatteren Vera Brittain (1893–1970). Under annen verdenskrig ble hun evakuert til Minnesota i USA hvor hun ble i tre år.