Navnet -ska er avledet av skaens farger, svart og hvit. Dette henspiller både til svart-hvite kleskode og til solidariteten mellom svarte og hvite. Det siste ga blant annet utslag i at mange ska-band var multietniske, men også i tekstene (jf. Madness' anti-apartheid-låt «Ghost Train»). I Storbritannia var ska fremfor alt populær blant tradisjonelle eller antirasistiske skinheads.