复位成功，晋升为给事中、太常少卿；又参加撰修《武后实录》，封为高平县子。两次出任州刺史，有政声。任刺史期间写了歌颂祭祀的文章《南郊赋》，受到皇帝的赏识，奉诏入京为“修文馆学士”。后来辞归致仕，善待寡嫂、孤侄，乡里咸以为善。唐玄宗开元二年（714年）去世。武后专政时，告密之风盛行，彦伯写《枢机论》，阐述“多言”之害，力主“慎言”。