Fru Benedicta Henrikka Løvenskiold døde i fødebyen 21. august 1813, og ble begravet den 25. i samme måned. Et sagn knytter seg til hennes dødsfall. I 1813 var det uenigheter i familien om hvorvidt et selvstendig Norge eller en union med Sverige ville være å foretrekke. Prins Christian Frederik avla i august samme år et besøk hos selvstendighetstilhengeren Niels Aall – fru Løvenskiolds fetter – på Søndre Brekke i Skien. I den forbindelse ble det arrangert fest og selskapeligheter, selv om fru Løvenskiold lå på likstrå. Dette fant sønnen Severin (som var unionstilhenger) høyst upassende. Herav oppstod historien om den grå dame som vandrer utilfreds og hvileløst omkring på Søndre Brekke; og som ikke kunne forlike seg med at det ble holdt fest mens hun lå for døden.