Etter ti års pilegrimsliv slo Sankt Pavel seg ned i Taganrog i 1825-1830. Taganrog ble hans andre hjemby, hvor han levde et enkelt liv uten at det minste antyded at han stammet fra adelen. I begynnelsen leide Sankt Pavel forskjellige leiligheter, senere flyttet han til et hus på Depaldogaten (senere ) i nærhenen an Sankt Nikolajs kirke. Dette huset er blitt bevart for ettertiden og kjent blant Taganrogs befolkning som «oldingen Pavens celle».