677年，刘祎之升任中书省的副官中书侍郎、唐高宗和武后的幼子李轮（后来的唐睿宗）的司马，然而他姐姐使他被流放。刘祎之的姐姐是宫里的女官，武后派他去武后母亲荣国夫人家探病。刘祎之违法规定，通过贺兰敏之去荣国夫人家探望姐姐，结果他被流放到巂州（今四川凉山彝族自治州）好几年。后来，武后请求皇帝将刘祎之从流放地赦回，任命为中书舍人，继续做相王李旦（李轮改名）的司马。不久，升任中书侍郎。唐高宗认为刘祎之的家族世代忠孝，对刘祎之说：“相王是我的爱子，卿家忠孝，我希望你能好好地教导他。”刘祎之居家孝友，经常用俸禄救