I et gammelt avisintervju om Knappenålsbekken, forteller Hans Chr. Andersen på Langestrand, født 1814, om «Næssekongen» som hadde slott ved Kilen «ved Fritzøe lade nu» (låven man vet lå ved foten av Jomfruhalvøya på denne tiden). I (samlet og utarbeidet for og trykt i 1882) står bl.a.: «Siden er Gaarden (Fresje) gaaet ud af Matrikulen undtagen forsaavidt en liden Anpart af Skyld endnu bærer Navn af Fritzøe, hvis Husbygninger staar ikke langt fra det Sted, hvor Gaardens gamle Bygninger havde staaet, der bestod af 2 prægtige Stenhuse paa en udstikkende Halvø ved Farisvandets sydøstre Bred» I en artikkel i 25. august 1903, kunne agronom Arnt Olsen Thorstad (som bestyrte gården Yttersø på 1850-tallet) opplyse at Fresjeanlegget var plassert «på sand og lergrund, strax søndenfor det Sted, hvor det faste Fjeld paa Øen begynder». Han hadde også opplysninger om at de to husene hadde tårn og jernspir, at de lå parallelt og var sammenføyet med et «galleri», videre at det var mange trehus her, som stabbur, fjøser, staller og borgstuer. Han opplyste også om hageanlegg og fiskedammer. Forfatteren Sigurd Mathiesen kunne fortelle i at tradisjonen fra hans barndom stedfestet borgens beliggenhet til «den odde, der skiller Kilen fra Farris. Den kaltes den gang enda Fresseodden og det øverste bøkekronede parti av den for Jomfrulund», opplysninger gitt i en kommentar i 8. januar 2009. Professor Amund Helland (geolog) skrev i (1914) følgende: «Det synes usandsynlig efter situasjonen at gjennembrudd av dammen foran Farrisvatn skulde rive med sig Flesjar hovedgaard der laa ved Farrisvatn. Det omvendte synes sandsynligere, nemlig at Flesjar gik ut ved et lerfald, og at dette voldte flom, saa dammen gik ut, og elven tok sagene.» Lorens Berg skrev i 1923 om Fritsø: «Denne bekjendte hovedgaard laa ved sydøstre ende av Farris, og hvedbygningen skal ha staat paa en tange som blev revet væk av en flom natten mellem 2. og 3. september 1653, da Farrisdammen sprang.». Emma Strand Haugene født 1882, oppvokst i Pollen i Kjose (ved Farris), hadde lært seg et sagn om Fresjeborgen. Hun fortalte: «Folk sa at når det stormer på Farris kan man høre matklokka på Fresjeborgen slå nede i vannet.». Opplysningen er gitt av et barnebarn av henne i 6. januar 2009. Dette styrker også teorien om at borgen raste ut i Farris.