李让夷既不是赵郡李氏也不是陇西李氏，而很有可能是寒门之士，就像陈寅恪所说的“循南北朝庶姓冒称士族之惯例”，也有可能是属于“破落户”或“假冒牌”。他最初在诸侯府任职，曾被华州刺史李绛辟为幕府判官。唐宪宗元和十四年（819年），中进士。后效力西川节度使杜元颖幕府。
唐文宗年间.唐文宗（宪宗孙）太和（827年 - 835年）初年，因朋友翰林学士宋申锡举荐，李让夷被召回长安任右拾遗，充翰林学士，转行左补阙。三年（829年），以翰林学士、朝议郎、行左补阙、赐绯鱼袋身份行职方员外郎，又改任