年始称甲山郡，属永吉道。1460年升格为都护府。1895年升为府，为二十三府之一，翌年府制被废，被降为咸镜南道甲山郡。1954年被划入两江道。历史上与三水郡合称「三水甲山」，与济州岛同为边疆、流放之地。朝鲜抗日时期在当地活动的共产党成员形成了后来朝鲜劳动党的「甲山派」。