孟孙拥有数万民户，自立为王，勾结南梁，屡次成为边境祸患。裴宣于是派遣使者招抚，晓之以祸福，杨孟孙感恩，当即派儿子拜谒裴宣。武兴氐人姜谟等一千余人上书乞求朝廷延长裴宣的任期，魏宣武帝称赞裴宣。裴宣家族世代以儒学为业，常常仰慕清廉退让，经常感叹的说：“以贾谊的才能，在汉文帝的时代，没有做到公卿，难道不是运气吗？”裴宣于是对亲戚和宾客说：“我原本是民间人士，素来没有治理人世的志向，只不过随着朝廷文书的推移到了这个位置。在双亲去世后才做官接受俸禄，有学问不能光大国家，尊仰先哲。可以回故乡了。”裴宣于是上表辞官，