又再因考绩优等，升任冀州刺史。羊陟上奏处理贪污腐败之事，所到之处，都没有贪赃枉法的事情。后再升虎贲中郎将、城门校尉，三升尚书令。太尉张颢、司徒樊陵、大鸿胪郭防、太仆曹陵、大司农冯方都与宦官联姻，公开贿赂，羊陟一一奏请罢免他们，但没有被採纳。前太尉刘宠、司隶校尉许冰、幽州刺史杨熙、凉州刺史刘恭、益州刺史庞艾任内清廉，羊陟举荐提拔他们，汉灵帝嘉奖他，并任命羊陟为河南尹。按日收受俸金，羊陟经常吃干饭野菜，压制豪强，京师为官的人都惧怕他。光和元年（公元178年），赵壹拜访时任河南尹的羊陟，赵壹认爲羊陟足以托名，