Historien på Svenner er langt eldre enn fyret. Helt fra middelalderen har Svenner vært en viktig uthavn for fiskere og andre sjøfarende, og da seilskutefarten økte måtte leia sikres med sjømerker. Det ble montert fortøyningsringer, og på fjellet ble det reist et dagmerke. I 1794 ble det etablert en losstasjon på Svenner. En av losene som var stasjonert her het Anders Jacob Johansen fra Ula i Vestfold, bedre kjent som Ulabrand.