更改变父亲的主意，而伐匈奴、屯西域，都是先帝的决议，不应该改变。杨终再次上书说：「秦始皇时修长城，工程庞大、经常征徭役，胡亥不修正这样的政策，所以失去天下。因此，汉元帝放弃珠崖郡，光武帝断绝西域诸国，不让远方的夷民穿上我们的衣服。春秋时期鲁文公拆泉台，《春秋》讥讽说：『祖先造台而子孙毁台，还不如留着它不居住。』这是因为泉台的存在不会妨害百姓。鲁襄公建立三军，被鲁昭公裁舍，君子却赞扬他的举动，认为不裁舍就会妨害百姓。现今在伊吾、楼兰、车师、戊己驻防的士兵这么久还不让他们回家，这不是天意。」汉章帝遵从了杨终的意