Станица Каргалинская основана в 1735—1736 годах, одновременно со станицами Бороздиновской и Дубовской. В данных станицах было размещено Терско-Семейное казачье войско, составленное из донских казаков, переселённых на реку Сулак, в крепость Святого Креста, Петром I во время Персидского похода 1722—1723 годов. В 1735 году был заключён Гянджинский договор между Россией и Персией, по которому граница Российской империи отодвигалась на Терек, а крепость Святого Креста должна быть срыта. Таким образом, донцы из крепости были поселены тремя станицами на берегу Терека, ниже гребенских станиц по течению реки.