Званично је настао 15. новембра 1968. од дотадашњег Покрајинског комитета Савеза комуниста Србије за Косово и Метохију, који је формиран јула 1937. као Обласни комитет КПЈ за Косово и Метохију. Након формирања Комунистичке партије Србије, маја 1945. Обласни комитет је ушао у њен састав, а јуна 1965. је подигнут на ниво Покрајинског комитета. Иако је био покрајинска организација, почетком 1970-их, заједно са Савезом комуниста Војводине, почео је да се развија у засебну организацију, која је постала независна од Савеза комуниста Србије. Таква ситуација доводила је до честих сукоба између руководстава СК Косова и СК Србије, посебно 1980-их током албанских немира на Косову. Покрајинско руководство СК Косова смењено је новембра 1988, за време „антибирократске револуције”, чиме је руководство СК Србије поново успоставило контролу над овом покрајинском организацијом. Ово је довело до продубљивања кризе и стварања нових етничких сукоба на Косову и Метохији, који су кулминирали током 1990-их година.