Søndre Brekke har også sitt eget gjenferd, i form av . Sagnet knytter seg til et besøk prins Christian Frederik avla godseier Niels Aall på Brekke i 1813. Under festlighetene som ble arrangert i forbindelse med besøket, ble det ikke tatt hensyn til at en dame på gården lå og var meget syk. Det er denne kvinne som etter sin død skal ha vandret hvileløst omkring på hovedgården. Et rom i bygningens annen etasje kalles «Den grå dames værelse».