Caroline von Briest var det eneste barnet til godseieren Philipp von Briest (1749–1822) og hans første ektefelle, Caroline von Zinnow (1752–1800). Caroline vokste opp på Nennhausen-godset, der hun fikk privatundervisning av en fransk guvernante.