Etter dette forsvant Hjelm ut av storpolitikken igjen. De ble i mange år drevet hestestutteri og landbruk på øya. I 1856 ble det bygd et fyr på kampstedet Fyrbakken, som voktes av fyrmester og fyrassistent.