年（746年）七月，李齐物因与被宰相李林甫陷害而被贬的右相李适之交好，被贬竟陵郡太守。任内见到伶师陆羽，欣赏其才能，当即赠与诗书，推荐他到隐居于火门山的邹夫子处学习。天宝末年，李齐物被征拜将作监，又为司农、鸿胪卿。
唐肃宗年间.至德初年，裴冕为相，除授李齐物太子宾客，世人称赞裴冕能不以怨报怨。干元元年（758年），李齐物迁凤翔尹，十月为刑部尚书，历任太常卿。褒扬晋州长史崔衍之忠，崔衍得授长安令，封武邑县男。上元元年（760年）不早于六月，李齐物迁京兆尹。他性格苛察寡恩，喜欢揭发他人