肇、高显兄弟关系恶化。御史中尉崔亮弹劾他纳贿之罪，于是出任平北将军、并州刺史。高聪在并州数年间，多犯不法之行为，再巴结高肇，修复关系。但他和太原郡太守王椿关系恶化，再被御史弹劾，高肇支持高聪援，事情没有处理。宣武帝末年、高聪担任散骑常侍、平北将军。魏孝明帝即位，高聪以平北将军出任幽州刺史。他作为高肇的党羽，与王世义、高绰、李宪、崔楷、兰氛之被御史中尉元匡弹劾、灵太后赦免了他。高聪辞官职回家，隐居不与人交往。经营果园，以声色自娱。之后，受位光禄大夫，加号安北将军。高聪抱妓女十几人，有子者无子者都入籍为妾。