娶默啜之女为妃。默啜借口以武延秀非唐室诸王，将他囚禁，胁迫立阎知微为南面可汗，又想封裴怀古为伪官，裴怀古不接受，默啜要杀他，裴怀古抗争道：“宁守忠以就死，不毁节以求生，请斩首吧，我不会避开！”。于是被囚禁在军中。突厥军入侵妫、檀等州时，趁机逃回长安，授朝请大夫、拜祠部员外郎。姚州、巂州的酋长们上京觐见武则天，称赞裴怀古的德政，请求让他担任州牧，于是授予他姚州都督，但因病未能就职，转任尚书主爵郎中。时始安县贼寇欧阳倩聚众数万，剽陷州县。宰相朱敬则推荐裴怀古前往平叛，被任命为检校桂、田等三十二州诸军事、桂州都督