延兴。北齐洛阳（今属河南）人。父徐干为姑婿高氏所养，因从其姓。高欢认他为弟（《北史》作弟，《北齐书》作从弟）。天平元年（534年）领营构大将军。累迁并州刺史。东魏初年，为尚书右仆射，主持邺都营建工程。与孙腾、司马子如、高岳合称「四贵」，非法专恣。官至太保。高洋小时，高隆之曾对他无礼，高洋取代东魏时，隆之反对。高洋下令把高隆之殴死。赠冀定瀛沧幽五州诸军事、大将军、太尉、太保、冀州刺史、阳夏王，但没有上谥号。后高洋更杀其诸子（《北史》称高隆之被杀诸子为司徒中兵高慧登等二十人，《北齐书》则作高德枢等十余人），