李彬等三人侵盗工所物料营建坟墓如帝王规模，三人被论罪处斩。不久加太保兼少傅，仍掌锦衣卫。 嘉靖三十九年（1560年）病死任上，谥武惠，赠忠诚伯，墓葬于今平湖市新埭镇溪漾村。是明朝唯一一个三公兼任三孤的官员。
佚事.严嵩之子严世蕃曾说：「天下才、惟己与陆炳、杨博为三」。