Падение Андроника привело к власти знатное семейство Ангелов, возвысившееся благодаря браку одной из дочерей Алексея I. В 1195 году Исаак II (1185—1195) был свергнут и ослеплён в результате заговора своего старшего брата Алексея III (1195—1203), который, не считая свою фамилию достаточно знатной, приказал именовать себя Комнином. Пощадив сына свергнутого брата, Алексей III совершил ошибку, поскольку тот, сбежав из заключения, начал искать поддержки у зарубежных монархов для своего восстановления на престоле. В конце концов 14 июля 1203 года с помощью крестоносцев Константинополь был взят, Алексей III бежал с казной, а на престоле был восстановлен Исаак II. Его сын Алексей IV (1203—1204) был коронован соправителем. В январе 1204 года они были свергнуты восстанием, и на 3 месяца, до падения города 13 апреля, правителем империи был зять Алексея III, Алексей V Дука.