高淹在东魏元象年间，被封为平阳郡公，累迁为尚书左仆射。天保元年六月癸未（550年7月4日），进爵为王，历任尚书令、开府仪同三司、司空、太尉。皇建元年（560年）八月，孝昭帝高演即位后，任命高淹为太傅，与彭城王高浟、河间王高孝琬并给仗身羽林军一百人。大宁元年（561年）十一月乙卯，迁位太宰。高淹为人个性沉着谨慎，以宽厚被人称颂。河清三年（564年），于晋阳逝世，有人传言他是为鸩杀的。还葬于邺，追赠高淹假黄钺、太宰、录尚书事，谥号靖翼，其子高德素继嗣他的爵位。其孙高世俊后为其侄琅邪王高俨嗣子。