时，许多北京一带的工匠逃走，他被调至在北京设立临时的巡防处作事。咸丰四年（1854年）昇作工部员外郎，咸丰五年（1855年）昇郎中，咸丰八年（1858年）昇为内阁学士，同年以军机大臣行走，次年正式昇为军机大臣，英法联军之役，咸丰帝逃往热河，文祥协助桂良及奕䜣与各国进行交涉，其后参与了总理衙门的成立提案。咸丰十一年（1861年）的辛酉政变中，支持东太后与西太后，待肃顺等顾命八大臣败后，上奏提议东太后与西太后两宫垂帘，其后受到两位太后重用，死前一直担任军机大臣和总理衙门大臣之职，并曾兼任都察院左都御史、工部尚书