President Franklin D. Roosevelt utnevnte hennes far Joseph Kennedy til USAs ambassadør til Storbritannia, og hun tilbrakte nesten halvannet år i England. Cavendish fikk mye av sin utdannelse ved Queen's College som ligger i London. Cavendish var en søster av president John F. Kennedy, det fjerde barnet og andre datteren til Joseph P. Kennedy og hans kone Rose.