五年（1820年）考中庚辰科二甲进士，选庶吉士，散馆授编修。历任山东、陕西道御史，广西乡试正考官，陕西榆林知府、江西总粮道、福建按察使、顺天府尹、四川、江宁布政使、云南巡抚等。道光二十八年（1848年），接替耆英担任两广总督，期间通过外交交涉，成功阻止英国人入广州城。道光帝特赏其双眼花翎、世袭一等子爵。1849年8月22日澳门总督亚马留被沈志亮等刺杀，徐广缙于8月24日飞檄香山县令会同香山协副将率领所部驰援澳门附近的炮台，葡萄牙军队因此于8月25日佔领澳门半岛与中国大陆连岛沙堤的要冲关闸，引起拉塔石炮台