Однако, вскоре за первыми успехами последовали неудачи. 24 ноября 1202 года направившиеся в Четвёртый поход крестоносцы захватили, по настоянию Венецианского дожа Энрико Дандоло и вопреки запрету Папы Иннокентия III, Зару и передали её Венеции. Папа за это отлучил крестоносцев и дожа от церкви, но Зару дож так и не вернул. В 1203 году болгарский царь Иван (Калоян) (а точнее — подвластные ему половцы) разбил венгерское войско и вернул себе потерянные ранее города, а в 1204 году восстановил Стефана Неманича на Сербском престоле. Боснийский бан Кулин выступил было на стороне Калояна, но был разбит венграми и поспешил объявить себя вассалом короля Имре (8 апреля 1203).