Distriktet har navn etter staten Kaski, på 1600-tallet en av de sterkeste blant Chaubisi Raya, de som fantes i denne delen av landet.