。有宗人欲以高廕相假者，怀远竟拒之，退而叹曰：“因人之势，高士不为；假廕求官，岂吾本志？”未几，应四科举擢第，累除司礼少卿。出为邢州刺史，以其本乡，固辞不就，改授冀州刺史。俄历扬、益等州大都督府长史，未行，又授同州刺史。在职以清简称。入为太子左庶子，兼太子宾客，历迁右散骑常侍、春官侍郎。大足年（701年），迁鸾台侍郎，寻同凤阁鸾台平章事。岁余，加银青光禄大夫，拜秋官尚书，兼检校太子左庶子，赐爵平乡县男。长安四年（704年），以老辞职，听解秋官尚书，正除太子左庶子，寻授太子宾客。神龙初，除左散骑常侍、兵部