知伊凡可能与克里米亚汗穆罕默德·格莱的女儿结婚的消息后，瓦西里三世在1520年将伊凡·伊凡诺维奇召到莫斯科。伊凡·伊凡诺维奇受到监禁，梁赞被瓦西里三世派去的总督接管。1521年，他在穆罕默德·格莱进攻莫斯科时成功脱逃。伊凡·伊凡诺维奇逃亡到立陶宛，从波兰国王兼立陶宛大公西吉斯孟一世处获得一小块领地维持生活，后在那里度过余生。他指望依靠西吉斯孟一世和克里米亚汗的帮助恢复政权，但未能实现。