攻下东阳，高聪迁入平城。与蒋少游为云中兵户，生活贫穷。族祖高允身居高位，接济高聪。高聪涉猎经史，有文才。高允推举他入朝廷为官，与蒋少游同任中书博士。经过十年，转任侍郎，以本官任高阳王（元雍）友。493年（太和十七年）兼员外散骑常侍，出使南朝齐，面见萧昭业。魏孝文帝把迁都洛阳，敌对南朝的意图告诉了他。回国后，转任通直散骑常侍、兼太府少卿，兼太子左率。高聪学射箭骑马，自求为将。孝文帝南征，高聪访王肃，请求作为偏将率军，王肃禀报孝文帝。498年（太和二十二年），南齐裴叔业攻打涡阳，高聪假辅国将军率兵二千，