后武后（即武则天）编写着作，包括《列女传》、《臣轨》、《百僚新诫》。因为他们的工作场所在宫中靠近北门，当时人们称他们为北门学士。武后让他们参与决策，分割宰相的权力。同时，刘祎之的哥哥刘懿之为给事中，兄弟二人被人羡慕。677年，刘祎之升任中书省的副官中书侍郎、唐高宗和武后的幼子李轮（后来的唐睿宗）的司马，然而他姐姐使他被流放。刘祎之的姐姐是宫里的女官，武后派他去武后母亲荣国夫人家探病。刘祎之违法规定，通过贺兰敏之去荣国夫人家探望姐姐，结果他被流放到巂州（今四川凉山彝族自治州）好几年。后来，武后请求皇帝