Thorkildsen etterfulgte Johan Christian Heuch som biskop i Kristiansand Stift (tilsvarende dagens Stavanger bispedømme og Agder og Telemark bispedømme) i 1904, og var biskop der til sin død i 1908.