Owczarka kaukaskiego uważa się za potomka dużych, dawnych psów z Kaukazu. Określenie „kaukaski” zdaje się wskazywać na okręg, z którego ta rasa pochodzi, a dokładniej rejon Gruzji, Armenii i Azejberdżanu.
Rasa ta miała pilnować owiec na halach. Miała być odporna na przeróżne warunki. Owczarek kaukaski miał nie tylko przeganiać, ale i zabijać intruzów, chcących podchodzić do owiec. Pies ten ma więc mocno rozwinięty popęd do obrony, nie toleruje obcych na swoim terenie, a także jest przyzwyczajony do samodzielnego działania.