Seter var eldste sønn og odelsgutt på gården Indre Seter i Halsa. Dette var en gammel slektsgård. Den første i Seters slekt kom dit i 1762. Han var oppvokst med at han var odelsgutt og skulle overta gården, så han hadde gått både jordbruksskole og hagebruksskole og var forberedt på et liv som bonde. Han hadde også fått gå Kunst- og håndverkskolen i Oslo, og da Erdmann tilbød ham å delta i kirkerestaureringer, sa han fra seg odelen og lot den yngre broren Nils overta gården. Nå kunne han være kirkemaler på heltid.