rcamalarla devlet hazinesi boşalmıştı. Bu yüzden yeni vergilerin konulması ve eski vergilerin yükseltilmesi gerekliydi. Bizans halkı, bu vergilerin doğrudan düşman olarak gördükleri Venedikliler'e ve Haçlılar'a gideceğini bildiği için açıkça duyduğu kızgınlığı göstermeye başladı. Bunun dışında başka bir finans kaynağı ise, kilise ve manastırlardaki kıymetli metallerden yapılmış olan vaftiz kaplarının müsadere edilip eritilmesi ile elde edilen kıymetli metallerdi. Bu durum İstanbul'da çok nüfuzlu olan papazları ve keşişleri imparatora açıkça düşmanlığa yöneltti. Aleksios'un başka bir vaadi olan Ortodoks Kilisesi'nin, Katolik Kilisesi'ne bağlanmasıydı. Bu var çok büyük bir şikayet konusu olmuştu. Bütün bunlar yetmiyormuş gibi medeniyet görmemiş Haçlılar ve Venedikliler'in küçük gruplar halinde İstanbul'u ziyaret etmeleri ve bu ziyaretler esnasındaki tutumları hem halkın kendilerine düşman olmasına hem de maddi zarara yol açıyordu.

Bir gece, bir grup Haçlı Aya İrini Kilisesi'nin hemen arkasında bulunan küçük bir Arap mahallesini görünce mahalleye girdiler. Mahalledeki küçük bir mescidi görünce sinirlenip hem mescidi hem de mahalleyi yakıp yıktılar. Söndürülemeyen yangın şehrin diğer mahallelerine yayıldı. Bu ikinci büyük yangınla şehrin önemli mahalleleri harap oldu ve imparator Julianus zamanından beri görülmeyen yüksek bir yangın zararı ortaya çıktı. IV. Aleksios, Trakya'ya kaçan ve orada Bizans direnişini organize eden amcası III. Aleksios'a karşı giriştiği başarısız bir harekattan döndüğünde, başkentini yangından harap bir halde ve halkının Haçlılara karşı savaşmaya hazır bir halde olduğunu gördü.

Birkaç gün sonra zaten çok müşkül olan durum, daha da güçleşti. Üç Haçlı ve üç Venedikli'den oluşan bir heyet IV. Aleksios'un huzuruna çıkarak kendilerine Zara'da vadedilen meblağların hemen karşılanmasını istediler. İmparatorun bu ödemeyi yapmaya hiçbir imkânı bulunmamaktaydı ve ödeme yapamayacağını heyete bildirdi. Bu görüşmede bulunun hiç kimsenin, sonucun yeni bir savaş olacağına dair şüphesi kalmamıştı. Genel olarak ne Bizanslılar ne de Haçlılar yeni bir savaş istemekteydiler. Bizanslılar bu garip kılıklı, acayip tavırlı ve kendilerinin dini inançlarına çok az benzeyen garip Haçlılar'ın, şehirlerinin yakınlarından ayrılıp gitmelerini istemekteydi. Haçlılar ise bu sefere dinî nedenlerle katılmışlardı ve hemen Mısır'a oradan da Küdüs'e gitmek istiyorlardı.

Ancak Venedikliler ve Venedik Dükü Enrico Dandolo daha değişik ve ayrı hedefler peşindeydi. Eğer bir savaş isteği olmasaydı; Venedik donanmasına emir verip geri dönebilirdi. Ama kendisine verilecek meblağın tamamlanması için Bizans ödemelerini beklediğinden donanması ile geri dönmemişti. Bizanslıların bu ödemeyi yapma imkânları olmadığı gittikçe açığa çıkmaya başlayınca Venedik Dükü Dandolo, mevcut Bizans imparatorlarının kaypak olduklarını ve sözlerini tutacak kişiler olmadıklarını, şehri zaptederek onları tahttan indirmenin ve Venedik'e olan eski borçlarla vadedilmiş olan yeni gemilerin bulunması için gereken ödemeleri yapacak başka bir imparatoru tahta geçirip Haçlılar'ın ana hedeflerine yönelmelerini sağlamanın her Haçlı için bir dinsel gereklilik olduğunu iddia etmeye başladı. Esasındaysa Dandolo için ne Kudüs'e gitmek ne de nakliye borçlarının tahsil edilmesi önemliydi. Dandolo için önemli olan Bizans İmparatorluğu'nun yıkılması ve yerine Venedik menfaatlerinden başka bir hedefi olmayan yeni bir devletin kurulması önemliydi.

İstanbul halkı da bir bakıma Haçlılar'a aynı fikirdeydi; II. İsaakios ve IV. Aleksios'un hemen tahtan indirilmeleri gerekiyordu. Bunun için 25 Ocak 1204'te Ayasofya'da senatörler, din adamları ve halk temsilcilerinin katılımıyla büyük bir toplantı yapıldı ve toplantı üç gün sürdü. Toplantı sonunda IV. Aleksios ve babası tahttan indirildi. Konsey, onların yerine imparator olarak yüksek bir saray memuru olan Nikolaos Kanabos'u imparator olarak seçti.

IV. Aleksios'a herkes muhalefetti. Bunların arasında sarayda önemli bir mevki sahibi olan ve kalın, birbiriyle birleşik kaşları dolayısıyla Murtzuphlos lakabı verilmiş olan Aleksios Dukas, 21 Ocak 1204'de saraya girerek eski imparator IV. Aleksios'u uykusundan kaldırıp; yüzünü uzun bir pelerinle örtüp saraydan kaçırdı. Genç imparatoru zindana koydurdu; birkaç başarısız kalan katil denemesinden sonra, onun bir yay kirişi ile boğulup öldürülmesini sağladı. Aleksios Dukas, kendini V. Aleksios adıyla İmparator ilan etti. İsakios ise oğlunun akıbetine çok üzülüp oğlunun ölümünden sonra fazla yaşamadı. V. Aleksios şehrin savunması için ciddi önlemler almaya başladı. Haçlılar'ın gelişinden beridir ilk defa olarak şehir duvarları ve kulelerinde sabah akşam 24 saat nöbet usulü uygulanmaya başlandı. Duvarların pekiştirilmesi ve bazı yerlerde yükseltilmesi işi bir sürü işçinin gece gündüz emekleriyle başarıldı.

Venedikliler ve Haçlılar, güya kendilerini buraya davet eden ve meşru imparator olarak gördükleri IV. Aleksios'un tahttan indirilip öldürülmesine çok kızdılar. Mart ayı başlarında Haçlı Seferi idarecileri aralarında bir sürü toplantılar yaparak şehri zaptetdikten sonra ne yapacaklarına dair bir dizi kararlar aldılar. Venedikliler ve Haçlılar altışar delege seçip bir imparator seçim kurulu kurulmasını önerdiler. Haçlılar arasından seçilecek olan imparatora şehrin (eski ve yeni saraylarını da içine alan) dörtte birinin idaresi verilecekti. Şehrin kalan dörtte üçünün yarısı Venedik idaresine verilecek ve diğer yarısıda Haçlılar'ın idaresi altında olacaktı. Haçlılar yeni imparatora bağlılık yemini verecekler ama Venedikliler imparatora bağlılık yemini vermiyecekti. Şehirde yağma edilen her şey önce ortak olarak bir merkezi yerde toplanıp buradan herkese eşit olarak dağıtılacaktı. En son şart olarak bu kuşatmaya katılan her taraf Mart 1205'e kadar (bir yıl) istila edilen şehirden ayrılmayacaktı.

Bu arada Haçlılar, rededileceğini bildikleri bir ültimatom gönderip öldürülmüş olan eski imparator IV. Aleksios'un kendilerine vermiş olduğu vaadlerin tümünün hemen yerine getirilmesini istediler. Ama yeni Bizans imparator Murtzuphos'un bunları ret edeceğinden emin oldukları için şehre tekrar ikinci bir hücum yapmak için tedbirler aldılar.

9 Nisan günü Venedikliler ve Haçlılar surlara karşı, yine Haliç'in kuzeyinden ağırlıklı bir hücuma başladılar. Dokuz ay önce Venedikliler'in gemi direkleri üzerine çıkıp Haliç surlarını aşma başarıları bu sefer mümkün olmadı. Yükseltilen duvarlar ve duvarlardaki savunma güçleriyle silahları dokuz ay önceki eski başarının yenilenmesine engel oldu. Bizanslılar, büyük mancınık tipli makinelerle attıkları taşlarla diğer taraftaki yüksek tahta kuleler şeklinde olan hücum makinelerini yıkmayı başardılar. Çıkan sert bir güney rüzgarı Venedik gemilerinin Haliç surlarını aşmak için surlara yanaşmalarına engel oldu. O akşam Haçlılar ve Venedikliler geri çekilmek zorunda kaldılar.

Venedikliler ve Haçlılar, iki günlük yeni bir hazırlıktan sonra tekrar hücuma geçtiler. Bu sırada Haçlı ordusunun moralini kuvvetlendirmek için Katolik papazlar da Haçlılar'ın Ortodokslar'a karşı yaptıkları hücumları aklamak için bir bildiri yayınladılar. Buna göre İstanbul'a yapılan hücumun dinsel ahlak bakımından iki uygun yönü bulunmaktaydı. Birincisine göre Bizanslılar hain ve katil olup kutsal kilisede taçlandırılmış meşru hükümdarları olan IV. Aleksios'u öldürmüşlerdi. İkincisine göre Bizanslılar'ın Katolik Papa ve Katolik Kilisesi aleyhtarlığı "Bizanslılar'ın, Yahudiler'den daha beter" doğru dinden ayrıldıklarını göstermekteydi. Böylece materyal ve moral bakımından ordularını pekiştiren Haçlılar ve Venedikliler 11 Nisan'da tekrar bir hücuma başladılar.

Bu sefer Venedik gemileri ikişer ikişer birbirlerine bağlanarak daha fazla ağırlıkla Haliç surlarına çıkmayı denediler. Çıkan kuvvetli kuzey rüzgarı da buna yardımcı oldu. Çok geçmeden iki kule Venedikliler'in ve Haçlılar'ın eline geçti. Şehrin bir kapısıda kırılınca Haçlı askerleri şehre girip şehrin kuzeyindeki sokaklara yayılmaya ve ahaliyi evlerinde öldürmeye başladılar. Bir grup Haçlı o akşam şehrin kuzeyinde büyük bir yangın çıkardı. Bu yangın Haçlılar'ın şehirde çıkardığı üçüncü büyük yangın oluyordu. Bu seferin tarihini yazan Villeharoudin'e göre bu yangınlarda "Yanan ev sayısı Fransa Krallığı'nın en büyük üç şehrinde bulunan tüm evlerin sayısından da daha fazlaydı." 

İmparatorun muhafızları çok kahramanca bir sokak savunması yaptı. Şehrin kuzeybatısını zapteden Haçlılar, o akşam için ateşkes ilan ettiler. Ama yangın devam etti. Aynı akşam savunma ümidini büsbütün yitiren V. Aleksios, savunmayı dışarıdan idare etme bahanesiyle karısı Evodosiye ve çocuklarıyla beraber şehirden kaçmayı başardı.

Ertesi gün şehirdeki tüm Bizans direnişi sona erdi. Fakat İstanbul şehri için eses trajedi ve fecaat o gün başladı. Venedikliler ve Haçlılar, o zaman savaş hukukuna göre üç gün şehri talan etme haklarını kullandılar. Şehrin altını üstüne getirerek tüm anıt, bina vb her şeyi yağmaladılar. Halka da birçok eziyetlerde bulundular.

İstanbul'un, Dördüncü Haçlı Seferi'ne katılan Venedikliler ve Batı Avrupalı Haçlılar tarafından talan edilmesi Batı Avrupalı bir tarih otoritesi tarafından şöyle tasvir edilmiştir:

Latin kökenli askerler Avrupa'nın en büyük şehrini tarif edilemeyecek bir talana giriştiler. Üç günlük talan esnasında yaptıkları katliam, tecavüz ve yağmayla şehri o kadar büyük ölçekli talana uğrattılar ki, Roma'yı ve diğer Batı Roma topraklarını yağmalayan Vandallar ve Gotlar orada olsalardı mutlaka gözlerine inanamayacaklardı. İstanbul, antik dönemden kalma ve Bizans'ın yaptığı eserlerle bir açık hava müzesi haline gelmişti. Haçlılar, şehirde buldukları bu servetin karşısında afalladılar. Zaten yarı Bizanslı olan Venedikliler ele geçirdikleri servetin çoğunu saklamayı başardılar. Ama Haçlılar (Fransızlar, Flamanlar, Almanlar vb) ele geçirdikleri her şeyi ayrım yapmadan imha ettiler. Bu serveti imhaya ancak iştahlarını şarapla dindirmek, Ortodoks rahibelere tecavüz etmek, Ortodoks papaz ve keşişleri öldürmek için zaman zaman ara verdiler.