Det at Svane både var medlem av Statskollegiet og Høyesterett, førte til at han ikke fikk tid til å ivareta arbeidet med kirkelig tilsyn.