Som navnet impliserer er Klein Karoo den mindre (og sørligere) av de to underregionene av Karoo. Geografisk er den en fruktbar dal, avgrenset i nord av Swartberg og i sør av Langeberg og Outeniqua. Selv om grensene for regionen ikke er klart definert, regner de fleste regionen Barrydale som den vestlige grensen til Klein Karoo og Uniondale som den østlige grensen.