长，一时俨然成为立宪运动的领袖。岑因有慈禧支持，在各地为官期间不惧权贵，弹劾并处罚了一大批买官而来的官员，尤其是逼令葡萄牙引渡裴景福和查办广州海关书办、驻比利时公使周荣曜两案尤其引人注目，但也因此开罪了这些官员的后台庆亲王奕劻，自此岑便联合军机大臣瞿鸿禨与庆亲王及其党袁世凯展开党争。
丁未党争.光绪三十二年（1906年），奕劻以云南片马民乱需要处理为由，将岑调任云贵总督，驱离权力中枢。岑遂称病拒不就任，停留上海，观望政局。不久，袁世凯在朝政倾轧中失利，自请开去本职以外一应兼差。