附近退隐，很多官员在城门外设宴为他饯行，时人称场面堪比当年汉朝疏广、疏受叔侄的欢送会。
武后摄政时期.同年，唐高宗驾崩，武后以太后身份为唐中宗（即李哲）摄政，嗣圣元年（684年）又因中宗不顺从而将其废黜，改立另一亲子唐睿宗。睿宗垂拱年间（685年 - 689年），朝廷想复起李义琰任怀州刺史。但李义琰自知先前曾阻止武后摄政，已得罪武后，没有应召。垂拱四年（688年），李义琰在家中去世。唐德宗年间，李义琰得以续图凌烟阁。