Neljännen ristiretken aikana ristiretkeläiset ja venetsialaiset valtasivat ja ryöstivät Bysantin valtakunnan pääkaupungin Konstantinopolin. Kaupunkia puolustamassa oli 6 000 varjagia, jotka antautuivat kun keisari Aleksios V oli paennut. Ristiretkeläiset ryöstelivät kaupunkia kolmen päivän ajan ja muodostivat Latinalaisen keisarikunnan, joka hallitsi Konstantinopolia lähes 60 vuotta. Bysantin valtakunta jatkoi olemassaoloaan Nikean keisarikuntana, Epeiroksen despotaattina ja Trapezuntin keisarikuntana. Joidenkin todisteiden mukaan varjagit palvelivat Nikean ja Epeiroksen valtakunnissa. Varjagien maine oli niin suuri, että jopa Latinalaisen keisarikunnan hallitsijalla oli oma henkilökohtainen varjagikaartinsa.