Begrepet kaffraria kommer fra det arabiske ordet som ble adoptert i swahili og som betyr «vantroende». Europeerne i Sør-Afrika knyttet ved en misforståelse begrepet opp mot svarte bantu-talende folk, og Britisk Kaffraria henspiller dermed på landet hvor de svarte bor (se ellers begrepet kaffer som i dag ses på som et nedsettende begrep for svart afrikaner i Sør-Afrika). Kaffraria ble brukt om en videre region som bestod av blant annet Britisk Kaffraria.