来的官员，尤其是逼令葡萄牙引渡裴景福和查办广州海关书办、驻比利时公使周荣曜两案尤其引人注目，但也因此开罪了这些官员的后台庆亲王奕劻，自此岑便联合军机大臣瞿鸿禨与庆亲王及其党袁世凯展开党争。
丁未党争.光绪三十二年（1906年），奕劻以云南片马民乱需要处理为由，将岑调任云贵总督，驱离权力中枢。岑遂称病拒不就任，停留上海，观望政局。不久，袁世凯在朝政倾轧中失利，自请开去本职以外一应兼差。岑认为时机已到，不再称病，于光绪三十三年5月3日(农历三月廿一)，突然从汉口上京晋见慈禧，获授邮传部