Archäologische Forschungen begründen die Annahme, die Gegend sei bereits zwischen 4000 und 2000 v. Chr. besiedelt gewesen. Bardhaman wurde von den Mogulen, Pathan und vom Königreich Maratha aus besetzt. Seit 1657 war der Ort Sitz der örtlichen Zamindare (Großgrundbesitzer und Steuereinnehmer). Ihre Loyalität gegenüber den Engländern insbesondere während des Santal-Aufstands (1855–56) und des großen Aufstands von 1857 sicherte ihnen das Fortwähren ihrer Herrschaft.