Ponoči 24. julija 1261 je skupini vojakov Alekseja Strategopula uspelo priti v Konstantinopel in zasesti mesto. Balduin je v naglici pobegnil iz palače Blaherne in v njej pozabil svojo krono in žezlo. Vkrcal se je na beneško galejo in odplul na Evbejo. Od tam je odplul v Atene, Apulijo in nazadnje v Francijo. Leta 1267 se je v Italiji srečal s Karlom I. Anžujskim, ki je še vedno resno razmišljal o osvojitvi Konstantinopla in maja 1267 z njim v Viterbu sklenil s tem povezan sporazum. Karlove sanje so prekinile Sicilske večernice, ki jih je morda organiziral novi konstantinopelski cesar Mihael VIII. Paleolog.