Da normannerne i 1057 kom til området under sin erobring av Sør-Italia, måtte munkene flykte. Noen kilder beretter at klosteret etter Synoden i Melfi (1059) og Robert Guiscard fikk området i len av pave Nikolas II ble overtatt av de latanske benediktinere. De samme kilder hevder at de greske munkene som vendte tilbake dit, måtte stå til tjeneste for benediktinerne. Ifølge de kildene måtte Philaretos da golde hus i en liten hytte i klosterhagen, som han også pleiet. Der døde han i 1070 etter en kort sykdom.