Als um 1057 Normannen in das Gebiet einfielen, mussten die Mönche fliehen. Einige Quellen berichten davon, dass das Kloster nach der Synode von Melfi (1059) und der Belehnung Robert Guiskards durch Papst Nikolaus II. in den Besitz der lateinischen Benediktiner überging. Diese Quellen führen weiter aus, dass die zurückgekehrten griechischen Mönche den Benediktinern nun dienen mussten. Philaretos hauste demzufolge in einer kleinen Hütte im Klostergarten, den er auch pflegte. Dort starb er um 1070 nach kurzer Krankheit.