蕃交结豪杰，卫将军全琮以下等都倾心敬待，只有羊衜和宣诏郎豫章杨迪拒绝不与他交结，时人都很奇怪。隐蕃是间谍的事后来败露，大家才服气。孙登派侍中胡综作宾友的名目，推重其中四人：“英才卓越，超逾伦匹，则诸葛恪。精识时机，达幽究微，则顾谭。凝辨宏达，言能释结，则谢景。究学甄微，游夏同科，则范慎。”羊衜私下反驳胡综：“元逊（诸葛恪）才而疏，子嘿（顾谭）精而狠，叔发（谢景）辨而浮，孝敬（范慎）深而狭。”他说的都有指趣。而羊衜最后因这些话被责怪，不为诸葛恪等人所亲近。后四人都在官场上失败，孙吴的人们于是说羊衜言之有征。。