En noe omstridt teori er at navnet kommer fra «khoikhoi» eller «sanspråk» i betydningen eller . Xhosa ville i så tilfelle kunne bli kalt det «rasende folket».