Trifon, som ikke var prest, var aldri formelt leder av klosteret sitt, selv om han var dets åndelige fader. Senere trakk han seg tilbake i "ødemarken" syd for klosteret, hvor han bygde en liten hytte og et kapell til ære for Guds Moders Hen­sovelse. Her levde han i ensomhet og bønn og askese inntil sin død 15. desember 1583, etter omtrent 60 år i Petsamo. Da var også alle skoltesamene kris­tnet.