是兄弟中唯一的源高明派而受到家族冷遇。兼通因此非常失望，于是经常不上朝。天皇亦薄待他。天禄3年（972年），担任摄政的兼通长兄伊尹病危，于10月21日向天皇提出致仕。得知这个消息的兼通与兼家立刻前往天皇御前，希望由自己继承摄政之位。两天后天皇同意伊尹致仕，兼通立刻参内，当时居住在宫内“鬼之间”的天皇素与兼通疏远，听说兼通来了，立刻迁到别的宫殿。兼通将天皇之亡母安子中宫生前所写的手谕奏上，诏书写道：“将来若摄关之职有缺，当以兄弟顺序相继。”这手谕信兼通一直收藏在身上，从未离身。天皇看到母后的亲笔，怆然哀戚