Katharine Worsley ble født på Hovingham Hall i Yorkshire, som eneste datter av William Arthrington Worsley, 4. baronett og hans hustru Joyce Morgan, datter av John Fowler Brunner og barnebarn av industriherren John Tomlinson Brunner.