书穆荫与怡亲王载垣授命为钦差大臣，赴通州与英法联军和谈。谈判失败，清政府扣押英法谈判代表巴夏礼等三十九人，导致英法联军进逼北京。穆荫钦差大臣职务被撤，与咸丰帝逃往热河，躲进避暑山庄。1861年，咸丰死，与肃顺等授命为辅政大臣。同年，慈安太后、慈禧太后与恭亲王奕䜣发动「辛酉政变」，八大臣被撤职，肃顺、载垣、端华伏法，穆荫以「在军机大臣上行走最久，班次在前，情节尤重」，被撤职流放。同治三年（1864年），殁于家。