Ifølge et gammelt sagn, skal området ved Trosby vært bebodd av et innvandret folkeslag, som hadde opprinnelse fra Svartehavs-området. De skal ha ankommet 500-600 e.Kr. i egne flatbunnede prammer med høy stevn og råseil. En utbredt misforståelse i Bamble er at Trosby betyr «gårdsbruket» med de «troende». Nyere forskning tyder imidlertid på at navnet hentyder til en religiøs offerskikk som ble praktisert av det innvandrede folkeslaget. Denne skikken ikke lenger i bruk, hverken på Trosby eller andre steder i Bamble. I Håvamål omtales denne gamle skikken, noe som tyder på at menneskene på Trosby har hatt vid kontakt med omverdenen.