Sumy ble grunnlagt i 1652 som en kosakkfestning for å beskytte Sloboda Ukraina fra angrep fra Krim-tatarene. Etter at angrepene stanset og området ble innlemmet i det Russiske keiserriket ble Sumy et viktig økonomisk senter. Byen var okkupert av det nasjonalsosialistiske Tyskland under andre verdenskrig og ble hardt skadet. De skadede delene er senere gjenoppbygget.