兄薛嘉言、薛弼、薛昌言。与薛弼尤其友善。薛徽言童年时父母双亡，跟着兄长们昼夜读书，博通经文。
入仕.
面圣获用.南宋建炎初年，薛徽言上书谈论国势、边防、刑赏、巡幸、财用、官吏六事。建炎二年（1128年）进士及第，授南剑州司法参军。宋高宗逃到永康，薛徽言持弹劾宰相吕颐浩想称臣金朝、设立御营使、谴责谏臣的书信拜访随驾的御史中丞赵鼎，赵鼎很欣赏，待为国士，说：“君认为赵鼎是谏臣，赵鼎能推辞吗？”促膝长谈如同故交。赵鼎说高宗好学，戎马之中仍在读《资治通鉴》，薛徽言