年，任工部右侍郎、提督易州山厂，期间拒绝授受贿赂。正德十二年，升任吏部右侍郎。正德十四年，任吏部左侍郎。明世宗即位后，拜为南京吏部尚书。嘉靖元年（1522年），改南京兵部尚书，参赞机务。此后被弹劾罢免。嘉靖三年，大礼议方定，吏部尚书杨旦赴召，途中弹劾张璁、桂萼，张璁、桂萼一党的陈洸遂弹劾杨旦而举荐廖纪，明世宗遂罢免杨旦，以廖纪取代。廖纪则上疏推辞道：“臣已经七十岁，精力不如乔宇，聪明不如杨旦。”当时世宗正厌恶此两人，遂没有批准。光禄署丞何渊请建世室，祀兴献帝，下廷议，廖纪持不可。此后三边总督杨一清召还内