于是赐李齐物貂裘一领、绢三百匹，特加李齐物银青光禄大夫，为鸿胪卿，赐玉尺一把，诏称因李齐物能干，故有此赐。三年（744年）十一月，迁河南尹，仍任水陆运使。五年（746年）七月，李齐物因与被宰相李林甫陷害而被贬的右相李适之交好，被贬竟陵郡太守。任内见到伶师陆羽，欣赏其才能，当即赠与诗书，推荐他到隐居于火门山的邹夫子处学习。天宝末年，李齐物被征拜将作监，又为司农、鸿胪卿。
唐肃宗年间.至德初年，裴冕为相，除授李齐物太子宾客，世人称赞裴冕能不以怨报怨。干元元年（758年），李齐物迁凤翔尹