伯牛三人，并弹劾自己擅发钱粮，请求治自己的罪，被高宗赦免。黄升与其州官文武六人因被薛徽言弹劾贪赃不法而被罢免。其他使者回朝后都被升官，但薛徽言锐意进取，希望有所作为，吕颐浩认为他擅自变更守臣又挪用经制银又妄议将帅，高宗也认为他资历尚浅，九月，他被外放知兴国军。有识之士为之不平。张浚督师湖南，认为薛徽言“将命有体”，于是他没有到任就回朝了。薛徽言师从胡安国，学习《春秋》。后来其子薛季宣写信给朱熹时，也提及了这段师生关系。
回朝为官.绍兴六年（1136年）二月，以左宣义郎守比部员外郎，