义琰的从祖弟监察御史李义琛出使，高丽王也坐着召之，李义琛匍匐拜伏。时人由是看出他们兄弟的优劣。唐高宗麟德年间（664年 - 665年），李义琰任白水令，被认为是能吏，后被提拔为司刑员外郎，再任中书侍郎。上元二年（675年）三月，高宗为慢性病（可能是高血压）所苦，想让强势的武皇后（即后来的武则天）摄政，宰相郝处俊坚决反对，李义琰也说：“郝处俊之言至忠，陛下宜听之。”最终高宗放弃了这一想法。李义琰身长八尺，博学多识，高宗每有顾问，言皆切直。上元三年（676年）四月，李义琰被授同中书门下三品，为实质宰相。