及至其九叔高湛即位，才勇皆不出色，高孝琬十分不满。突厥与北周联军攻打太原，高湛想避之东行，高孝琬叩马力谏，且推荐高叡率兵。高湛从其言。高孝琬犹恨其怯懦，免胄而出，骂曰：“岂是老妪，须着此？”高湛派人把他追回。周军退，高孝琬升为并州刺史。及至其庶长兄高孝瑜遭高湛暗杀，诸王明知其故皆不敢多说，只有高孝琬在葬礼上仰天大哭而出。回到王府，做了一个草人当成箭靶，时时对射，又时常对着父亲高澄的画像哭泣。和士开与祖珽对高湛进谗说高孝琬即将谋反，高湛颇觉疑惑。高湛为太上皇时，高孝琬得到神物佛牙，置于王府，夜有神光。