姓张，因父亲张孟曾为颍阴侯灌婴家臣，赐姓灌。吴楚七国之乱之时，灌夫率领一千人跟随父亲灌孟从军，立下军功被封为中郎将。父亲战死，灌夫不肯返乡葬父，继续战斗，以勇勐闻名。后来，汉景帝任命灌夫为代国宰相。汉武帝即位，认为淮阳是天下军事要地，故改命为淮阳太守。建元元年（前140年），入京，担任太仆。次年，灌夫与长乐宫卫尉窦甫饮酒，酒后殴打窦甫。窦甫是窦太后的堂兄弟，皇帝怕太后斩杀灌夫，改任他为燕国宰相。几年后，犯法免官，以百姓身份在长安居住。灌夫尚游侠，家产数千万，食客每日数十百人，横暴颍川郡，与魏