Norra Ljusterö ble gitt som len til Per Brahe den eldre på Rydboholms slott, og i 1641 til riksmarskalk Lennart Torstenson. Hans enke bodde senere i perioder på øya.