法而被罢免。其他使者回朝后都被升官，但薛徽言锐意进取，希望有所作为，吕颐浩认为他擅自变更守臣又挪用经制银又妄议将帅，高宗也认为他资历尚浅，九月，他被外放知兴国军。有识之士为之不平。张浚督师湖南，认为薛徽言“将命有体”，于是他没有到任就回朝了。薛徽言师从胡安国，学习《春秋》。后来其子薛季宣写信给朱熹时，也提及了这段师生关系。
回朝为官.绍兴六年（1136年）二月，以左宣义郎守比部员外郎，后又改兵部、吏部员外郎。八月，因金军进逼，随高宗出逃建康。绍兴府行宫留守秦桧奉召入朝，想留在朝中，