李义琰将其丢弃。永淳年间，李义琰为中书侍郎。弘道元年（683年）三月，李义琰改葬父母，让舅舅迁旧墓。唐高宗闻讯，大怒：“李义琰只因荣耀了，就欺凌舅舅，这种人不能用来秉政！”李义琰闻知，感到不安，自称有足疾，请求退隐，高宗批准了，并授以银青光禄大夫荣衔致仕。李义琰即将在东都洛阳附近退隐，很多官员在城门外设宴为他饯行，时人称场面堪比当年汉朝疏广、疏受叔侄的欢送会。
武后摄政时期.同年，唐高宗驾崩，武后以太后身份为唐中宗（即李哲）摄政，嗣圣元年（684年）又因中宗不顺从而将其废黜，改