帝体弱多病，兼之当时的大清北有英法联军入侵北京、南有太平天国反清农民运动，正值内忧外患之际，让他心力憔悴。懿贵妃工于书法，于是咸丰帝时常口授并让其代笔批阅奏章，并且允许懿贵妃发表自己的意见，因而大臣们多对叶赫那拉氏不满。咸丰十年八月（1860年），英法联军在第二次鸦片战争中攻破大沽口，占领天津。随后在八里桥击溃了清军的精锐，京师危在旦夕。9月22日，咸丰帝率包含慈禧在内的一干宫眷逃往热河避暑山庄避难，留恭亲王奕䜣在京师与联军议和。英法联军在北京大肆抢劫后，10月18日将包括圆明园在内的皇家“三山五园”焚