Stjernøya har historisk vært bosatt av sjøsamer i lang tid. I 1920-årene bodde det mange sjøsamer i ytre Rognsund, blant annet i Russehamna, Pollen, Pollholmen, Kjerringfjorden, Store Kjerringfjorden, Kvinnenes, Gambukta, Vinterset og Nordmannsnes. I mange av de sjøsamiske familier var nordsamisk et hverdagsspråk.