汉关内侯颜盛之后。大通三年辛亥（531年）生于江陵（湖北江陵），有颜之仪、颜之善两兄。七岁能诵《鲁灵光殿赋》。大同八年壬戌（542年），随湘东王萧绎在江州（江州治寻阳，今江西九江）。十九岁时（547年），为萧绎右常侍，加镇西墨曹参军，驻江陵。550年为萧方诸中抚军外兵参军。太清二年（548年），侯景之乱爆发，颜之推被俘，因侯景行台郎中王则相救未被杀害，囚送建康。552年，侯景败死，获释还江陵。萧绎在江陵自立，承圣元年王申（552年），为散骑侍郎，奏舍人事，奉命校书。554年，西魏攻陷江陵，再次被俘，迁移长安