Thorstein Gunnarson var sønn av bonden Gunnar Olsen Fitje (1832–1917) og Ingeborg Øysteinsdotter (1831–1909). Han ble student fra Hambros skole i Bergen i 1888 og i 1894. I 1897 ble han utnevnt til personalkapellan i Råde. Han ble stiftskapellan i Bergen bispedømme i 1902 og sogneprest i Sunnylven i 1905. Her begynte han å preke på nynorsk. Fra 1912 var han sogneprest i Sveio, og fra 1925 i Aurland.