Det er forholdsvis nylig (1971) blitt lansert en ny teori om at Fresjeborgen skulle ha stått på åsen ved dagens Trudvang - øst for Farriselva. Teorien bygger bl.a. på et maleri av van Everdingen som ikke kan stedfestes. Det viser ei elv og et slott e.l. på åsen over. I tillegg til et gammelt hollandsk sjøkart, med en påtegnet navnløs bygning innerst i Larviksfjorden som noen mener kan ha vært Fresjeborgen. Argumentasjonen går på at bygningen ikke ville blitt påført et slikt kart dersom den ikke kunne ses fra sjøen (sjømerke). Videre at dersom dette er borgen, kan den ikke ha stått ved Jomfruhalvøya, for der ville den ikke kunne ses fra sjøen. Det er imidlertid ingen tradisjon for at Fresjeborgen skulle ha ligget ved Trudvang. Det er heller ikke gjort funn her som kan settes i forbindelse med Fresjeborgen. Senere ble gården ved Trudvang brukt som beite for hestene på Jernverket, og da fikk den navnet Bergeløkka.