Sivert With var høyt ansett og skattet både som sjømann og borger. Han ble bl. a. innvalgt i den store fyrkommisjonen som utvalgte steder på kysten for opprettelse av fyr. Blant de steder det ble besluttet å reise nye fyr, var Andenes.