Opprinnelig ble byen grunnlagt av fjellfolket hurrittere. Den var kjent som Karda, Qurtie eller Guti av folk som bodde i de lavereliggende områdene i det sørlige Mesopotamia. Under oldtidsnavnet Arraphkha ble Kirkuk hovedstad i kongedømmet Gutium, noe som er nevnt i kileskriftnedtegnelser fra rundt 2400 f.Kr.