Det ble etablert en meteorologisk stasjon på øya i 1867, og denne ble flyttet til Store Torungen i 1914 da fyret ble nedlagt. Alle bygningene ble da revet eller flyttet, med unntak av tårnet og oljebua. I 1865 bodde det 16 mennesker på Lille Torungen, herav ti var barn. Det ble holdt kveg, gris og høns, og det fantes en kjøkkenhage. Det er ingen fastboende på øya lengre.