1858年1月，自英法聯軍入侵廣州後，為了恢復城內秩序，逮捕两广总督叶名琛，组建“联军委员会”。羈留於觀音山的柏貴不久即被英法總局復職並一同管理廣州全城。柏貴也成為了中國第一位被西方殖民者操控的傀儡。为维持傀儡地位，柏贵不断说服同僚放弃抗战主张，为侵略者开脱罪责。遂遭朝廷内外有识之士强烈反对，亦失去咸丰帝之信任，加以英法侵略者的抑制，忧郁成疾，1859年病死广州。