Prestestillingen i Lier hadde han i tre år, før han ble kalt til biskop i Bjørgvin. Som biskop i Bergen fungerte han fra 1858 til 1861. Da måtte han søke avskjed fra stillingen på grunn av dårlig helse. De to siste årene bodde han i Kristiania. Kaurin var svært interessert i misjonsarbeidet, og i hans tid som biskop i Bjørgvin reiste den første norske misjonæren, Hans Schreuder, til Sør-Afrika.