闻『知足不辱，知止不殆』，『功遂身退，天之道』也。今仕官至二千石，宦成名立，如此不去，惧有后悔，岂如父子相随出关，归老故乡，以寿命终，不亦善乎？」疏受磕头说：「从大人议。」当日叔姪两俱上书言病而辞官。满三月后被令归家治病，疏广接着称病，上书请求因老退职。宣帝因其叔姪年老，准许其请求，加赐黄金二十斤，太子赠再赠五十斤。公卿大夫故友乡人为其祭祀路神，在东都门外设帐，送行的车有数百辆。疏广坚决地告词离去。道路两旁观看的人都说：「贤哉二大夫！」为之叹息甚至哭泣。疏广回乡后，每天让家人陈设食具，摆上酒食，邀请族人