Krementsjuk ble antagelig grunnlagt i 1571. Navnet består av de to ordene «Kremen» (mineralet flint) og «tsjuk», som kommer fra det ukrainske ordet «chuyu» som betyr plate, siden byen ligger på en stor flintplate.