Rozsiahla komnenovská dynastia sa delila na mnoho vedľajších vetví. Ich členovia často zastávali najvyššie funkcie cisárskych úradníkov, miestodržiteľov alebo vojvodcov. Cisárska moc sa neodovzdávala prísne podľa pravidla otec-syn, dedenie skôr záviselo od osobnej moci a ambícií každého uchádzača o trón. V priebehu niekoľkých generácií sa vždy našlo niekoľko záujemcov schopných boja o trón. Po smrti Manuela I. v roku 1180 sa komnenovská dynastia dostala do chaosu sprisahaní a intríg. Alexios II., ktorý sa ako neplnoletý v roku 1180 dostal na trón, bol po 3 rokoch odstránený. Jeho premožiteľ, Andronikos I. Komnénos bol následne v roku 1185 tiež zvrhnutý, tentoraz ale Izákom II. z rodu Angelovcov, ktorý využil povstanie šľachty nespokojnej so zavedenými reformami. Izák II. sa pri moci ale neudržal a bol takisto zvrhnutý a oslepený svojím bratom Alexiom III. Rod Angelovcov bol z trónu odstránený roku 1204 počas štvrtej krížovej výpravy.