I 1618 ble Peder Paus kapellan hos sogneprest Svein Gunnarsson i Vinje, og rundt 1621–22 etterfulgte han herr Svein som sogneprest. Kirken i Vinje var en stavkirke fra middelalderen, med runeinnskrifter fra 1100-tallet, uten stoler og benker, slik at menigheten satt på gulvet. På den tiden ble kirker heller ikke varmet opp om vinteren. Vinje var et geografisk veldig stort, men sparsomt befolket og etter datidens forhold avsidesliggende distrikt som var et krevende prestekall og som bare kunne gi sin sogneprest beskjedne inntekter.