Още в началото на съществуването си Латинската империя е разделена на множество васални графства и баронства. Тя не обхваща цялата територия на Византия. В Епир е създадено Епирско деспотство, а в Мала Азия – Никейска империя и Трапезундска империя. На 16 май 1204 година за пръв император е избран и коронясан Балдуин Фландърски. В началото той води експанзионистична политика, но след битката при Адрианопол, където претърпява тежко поражение от цар Калоян, устремът му е спрян. Самият император Балдуин I е пленен и отведен в Търново, където след това е ослепен и умира в затвора. По-късно се появяват неверни слухове че е избягал от затвора. През 1208 година Империята завладява от цар Борил Тракия, но по мирен начин следващия българският цар Иван Асен II си я връща. През 1228 година император Робер дьо Куртене започва дипломатическа игра. Той предлага трона на империята на цар Иван Асен II. По този начин той скарва царя с деспот Теодор Комнин, който иска да възстанови Византия. Деспотът нарушава мирния договор с българския владетел и напада България, но в битката при Клокотница претърпява поражение. Така империята продължава живота си. Цар Иван Асен II ту застава на нейна страна, ту на никейска. През 1241 година на българския престол застава Калиман I Асен, който продължава мирните отношения между двете страни. Но империята преживява упадък, от който не може да излезе. През юли 1261 година никейците използват отсъствието на венецианските кораби и гарнизона на града и влизат в Константинопол. По този начин се слага край на нейното съществуване. Направени са опити за нейното възстановяване, но безуспешни. През 1261 г. последният управляващ император Балдуин II е свален от власт от Михаил VIII Палеолог, който поставя и началото на династия, управлявала възстановената, но съвсем отслабена Византия до падането ѝ под турска власт през 1453 година.