被安排到地方历练。此后，他历任中共湖北省委副书记、湖北省政协主席，农业大省安徽省的省长，后又晋升为中共安徽省委书记；1999年又调任经济大省中共江苏省委书记；并在中共十六届一中全会上，进入中共中央政治局。2003年3月17日，中华人民共和国国家主席胡锦涛发布第二号中华人民共和国主席令，根据中华人民共和国第十届全国人民代表大会第一次会议的决定，回良玉出任负责农业的国务院副总理。同时任国家防汛抗旱总指挥部的总指挥长、国务院抗震救灾总指挥部总指挥；并于2008年连任，是两届温家宝政府中，唯一连任的副总理。