三十二年（1906年），奕劻以云南片马民乱需要处理为由，将岑调任云贵总督，驱离权力中枢。岑遂称病拒不就任，停留上海，观望政局。不久，袁世凯在朝政倾轧中失利，自请开去本职以外一应兼差。岑认为时机已到，不再称病，于光绪三十三年5月3日(农历三月廿一)，突然从汉口上京晋见慈禧，获授邮传部尚书，得以留京。一时岑、瞿声势大盛，隐然有独揽朝政之意。但旋即奕劻策划陷害岑，密使人伪造岑与梁启超等人的合影，称其意图为戊戌变法翻案。形势自此一转即下，岑于四月二次被放为两广总督。途经上海时，岑重施故伎，称病不就职，不料慈禧旋即下