02年11月15日在中共十六届一中全会上，当选中共中央军事委员会委员，并出任中国人民解放军总后勤部部长。2003年3月被任命为中华人民共和国中央军事委员会委员。2008年起担任全国人大代表。2012年10月，不再担任中国人民解放军总后勤部部长职务，由原南京军区司令员赵克石上将继任。在担任中国人民解放军总后勤部部长期间，廖锡龙和总后勤部政治委员刘源等人以总后勤部党委的名义举报总后勤部副部长谷俊山的贪腐问题。谷俊山声称自己后面有人（徐才厚）。刘源、廖锡龙等人未受胁迫，坚持再次上报谷俊山的问题。在中共中央的支