到高肇的父亲高扬（《北史》作高飏1）时，于北魏孝文帝在位初年，和其弟高乘信以及同乡韩内、冀富等人进入并归顺北魏，官拜厉威将军，封爵河间县子，高乘信官拜明威将军，朝廷都以客礼相待，赐给奴婢、牛马、彩帛