Sivert With var en mann med mange jern i ilden. Også i det kommunale liv kom han til å sette spor etter seg. Her var havnespørsmålet den saken som skulle komme til å oppta ham mest. Han framsatte forskjellige forslag og planer for utbygging av havneforholdene på Andenes. Det gjaldt å vekke myndighetenes forståelse for sakens viktighet, og i Stortinget hadde Sivert With et godt talerør i representanten Anders Vincent Stoltenberg fra Finnmarkens amt, som selv var fyrvokter.