Manuil 24 Eylül 1180'de ölünce, 11 yaşındaki oğlu II. Aleksios tahta çıktı. Aleksios görevinde oldukça beceriksizdi fakat onun saltanatını asıl kötü üne kavuşturan şey annesi Antakyalı Maria ile onun Frank geçmişiydi. Sonunda I. Aleksios'un torunu olan I. Andronikos, kendinden daha genç olan bu hükümdara karşı ayaklandı ve onu şiddetli bir darbeyle tahttan indirdi. Yakışıklılığını ve ordudaki popülerliğini kullanarak, Ağustos 1182'de Konstantinopolis'e ilerledi ve Latinlerin katledilmesi için tahrikte bulundu. Potansiyel rakiplerini yok ettikten sonra, Eylül 1183'te kendini eş imparator ilan etti. Sonrasında II. Aleksios'tan kurtuldu ve onun 12 yaşındaki karısı Fransalı Agnes'i kendi karısı yaptı.