El último dueño privado del castillo fue la honorable Olive, Lady Baillie, una hija de Almeric Paget, primer barón de Queenborough, y su primera mujer Pauline Payne Whitney una heredera estadounidense.