On considère que les origines de la race se trouvent parmi les anciens chiens de Caucase. L’implantation de la race couvre les territoires depuis la chaîne des montagnes de Caucase jusqu’aux régions de steppes de la Russie du Sud.
L’évolution de la race n’est pas seulement le résultat de la sélection naturelle mais aussi de l’influence des populations qui ont habité la région de Caucase. Historiquement les Bergers de Caucase ont été utilisé pour la surveillance et la protection des troupeaux et des habitations contre les animaux sauvages et des prédateurs. La première mention de grands chiens de type molossoïde utilisés par l’armée du Tsar arménien, Tigran II, date du 1er siècle avant J.C. Le travail de sélection a débuté en URSS dans les années 1920.
Les qualités obligatoires telles que la force physique, l’assurance, le courage, l’ouïe très développée, une vision excellente ainsi qu’une robe dense et imperméable ont été cultivées lors de la procédure de sélection. Toutes ces qualités plus l’endurance favorisent l’utilisation du Berger de Caucase dans toutes conditions climatiques y compris les plus sévères.