于1203年的一封信中，保加利亚沙皇卡洛扬通报教皇诺森三世说伊姆雷曾在保加利亚佔据五个区域，卡洛扬并要求教皇干预。
晚年 (1203年－1204年).1203年的秋季，弟弟安德烈公爵再次发起公开反抗伊姆雷，他们的军队于10月在德拉瓦河的瓦拉斯丁相遇。伊姆雷手无寸铁地走进了他弟弟的阵营，并指出“现在我将要看看谁敢出手令王室血脉流下鲜血”，没有人冒然停止国王伊姆雷的举动。因此，伊姆雷走近安德烈，在毫无抵抗的情况下将他抓住。安德烈公爵被囚禁数月后，他的支持者于1204年初将他释放。卡