修行佛法，得到齐文宣帝的许可。经过二年，求道意志不能贯彻而复职。征复本任，便纵酒肆情，广纳姬侍。又兼领军。皇建二年（561年）齐孝昭帝赴晋阳，右丞相、长广王高湛留守邺都（今河北临漳西南），以高元海为散骑常侍典掌机密。前一年，孝昭帝没有继位之前想要杀死杨愔掌握权力，许诺高湛说，事成封为皇太弟。孝昭帝即位，立儿子高百年为皇太子。高湛大为不满。太史向孝昭帝进言「北城有天子气」，当时有童謡「中兴寺内白凫翁、四方侧聴声雍雍、道人闻之夜打钟」流布。有人解释謡中「凫翁」指长广王高湛，「道人」指先帝·济南王高殷。孝昭帝