元元年（前140年），入京，担任太仆。次年，灌夫与长乐宫卫尉窦甫饮酒，酒后殴打窦甫。窦甫是窦太后的堂兄弟，皇帝怕太后斩杀灌夫，改任他为燕国宰相。几年后，犯法免官，以百姓身份在长安居住。灌夫尚游侠，家产数千万，食客每日数十百人，横暴颍川郡，与魏其侯窦婴交好。一日，在丞相田蚡的婚宴上，因程不识和灌婴本家的灌贤看不起他与窦婴，灌夫反讥、羞辱灌贤、程不识。田蚡居间缓颊，知道灌夫尊敬李广，于是劝说：「程将军和李将军都是卫尉，你侮辱程将军，不是也骂了李将军？」灌夫说：「今天把我杀了，我都不在乎，管甚么程将军