Etter et studieopphold ved universitetet i Uppsala studerte han språk ved Nanjinguniversitetet i årene 1922–'23. Thelle tok deretter examen artium på Haagaas Artiumskursus' latinlinje i 1928, før han studerte teologi ved Universitetet i Oslo der han ble cand. theol. i 1931.