Områdene som i dag utgjør prefekturet bestod av flere kongeriker før det ble invadert av Makedonia, som senere styrte over området. Deres styre sluttet etter tredje makedonske krig og det ble en del av Romerriket. Etter at Romerriket ble delt i to i 395 ble Kilkis en del av Østromerriket. Det ble så gitt til Bulgaria og ble bosatt av bulgarere. På 1400-tallet kom området inn under Det osmanske riket, som hadde det fram til den første Balkankrigen i 1912, da det ble tatt av Bulgaria igjen. I den andre Balkankrigen i 1913 erobret den greske hæren området og det ble endelig annektert og en del av Hellas. Mange grekere fra Lilleasia kom til Kilkis etter den gresk-tyrkiske krigen i 1922 og som følge folkeutvekslingen mellom Hellas og Tyrkia fastsatt i Lausannetraktaten. Området ble da igjen gresktalende.