Relacje pielgrzymów i spisy relikwii wskazują na obecność mandylionu w Konstantynopolu aż do czwartej krucjaty. Miał on się znajdować w tzw. kaplicy Faros, w której cesarze bizantyńscy przechowywali zbierane przez siebie relikwie Chrystusa. Jego losy po zdobyciu i splądrowaniu Konstantynopola przez krzyżowców w 1204 nie są jasne. Istnieje kilka średniowiecznych tradycji i kilka współczesnych hipotez, co mogło się stać z mandylionem: