Som biskop på Island reformerte Sveinsson skatteinnkrevningen og leien som leietakere av krongods eller kirkegods ble avkrevd. Han satte igjennom at leietaker skulle betale etter inntekt og evne. Han ga bort eiendommer til opprettelse av leprasykehus og stiftet fond for fattige prester og enker. Kongens befalingsmann på Island, Henrik Bjelke, «rikets ærlige admiral og høyt aktede patron», grafset til seg fra fondet. Sveinsson ga en gang Bjelke 3.000 riksdaler til forvaring. Av disse leverte Bjelke mindre enn halvparten tilbake - og først mye senere.