详，母亲携元载改嫁景昇。继父景昇为唐太宗子曹王李明王妃元氏收田租得力，景昇向元妃请求后赐姓元，改称元昇。因元载冒姓元氏，《新唐书·宰相世系表》未将他列入元氏表。《旧唐书》称他“性惠敏，博览子史，尤学道书”，天宝初，因熟读庄子、老子、列子、文子之学，以道家学说考上进士，后任新平尉。至德初年，江都采访使李希言上书，请求让元载担任自己的副官，擢祠部员外郎、洪州刺史。入为度支郎中，唐肃宗惊异于他对答敏捷；之后累迁户部侍郎，充度支、江淮转运等使。在肃宗朝，因与掌权宦官李辅国之妻元氏同族而受到重用，管理漕运。宝