一奏请罢免他们，但没有被採纳。前太尉刘宠、司隶校尉许冰、幽州刺史杨熙、凉州刺史刘恭、益州刺史庞艾任内清廉，羊陟举荐提拔他们，汉灵帝嘉奖他，并任命羊陟为河南尹。按日收受俸金，羊陟经常吃干饭野菜，压制豪强，京师为官的人都惧怕他。光和元年（公元178年），赵壹拜访时任河南尹的羊陟，赵壹认爲羊陟足以托名，天天去羊陟家敲门，羊陟勉强让他进门，但是还没起床，赵壹走到床前，说：「我敬佩羊陟先生高风亮节已许久，今天终于能见一面，却忽然逝世，这是命运呀！」于是放声大哭，门下的人大惊，纷纷涌入羊陟的房间。羊陟知道赵壹是非常