Ved begynnelsen av 1600-tallet var ukrainske kosakker de første som slo seg ned i området. Bosetningen ble først nevnt i 1634 som . I 1642 ble det bygd en polsk festning på stedet oppkalt etter elven Konotopka. Trulig forsvant den, og en annen festning, , ble bygd. Festningen ble viktig i kampene mot storfyrstedømmet Moskva. Noen historikere miner at Konotop var bosatt allerede innen før den tatarmongolske invasjon. Et sagn sier at mange av hestene og soldatene fra et tatarsk kavaleri druknet i myrområdene omkring byen og at det er derfor området har navnet Konotop, der betyr hingst og betyr å drukne.