Prinsesse Caroline Mathilde ble født 22. juli 1751 i London som det niende og yngste barnet til de britiske tronarvingene, prinsen og prinsessen av Wales. Faren hennes døde ca tre måneder, før hun ble født, og hun var dermed et posthumt barn. Faren hennes hadde hatt et anstrengt forhold til sin egen far, og i 1737, etter en krangel, hadde kongen forvist sønnen fra hoffet. Han hadde siden bodd i en ny, leid bolig, Leicester House, et stort adelspalé i Westminster, nord for dagens Leicester Square, hvor Caroline Mathilde også ble født.