在胡国珍属下为司徒行参军，灵太后让他入宫中，官至员外散骑侍郎、直后。520年（正光元年），元叉、刘腾幽禁灵太后。524年（正光五年），萧宝寅西征，郑俨从军为开府属。525年（孝昌元年），灵太后夺回权力，郑俨请求回到洛阳为官，灵太后再次重用郑俨，任命他为谏议大夫、中书舍人，兼尝食典御。郑俨昼夜在禁中，深受灵太后宠爱。郑俨和徐纥有智谋，协力城阳王元徽，操纵北魏政权。升任通直散骑侍郎、散骑常侍、平东将军，转任武卫将军、华林都将、右卫将军、散骑常侍，官至中军将军、中书令，受号车骑将军。528年（武泰元年），魏孝明帝