De förnäma damerna på Swansdowns slott rösde sig ibland med att använda aftontimmarna Viola Hayne.