I oktober 867 ble Fotios imidlertid avsatt som patriark og etterfulgt av Ignatius I av Konstantinopel. Han ble forvist til klosteret Stenos ved Bosporos der han tilbragte syv år. Men han klarte å ta seg tilbake til Konstantinopel og, da Ignatius døde i 877, kunne Fotios gjeninnta sin tidligere verdighet som patriark. I 886 havnet Fotios imidlertid atter i unåde da han ble anklaget for høyforræderi, og han ble atter igjen forvist. Han tilbragte sine siste år av livet i et kloster – men hvilket er ikke kjent.