Duke of Devonshire
卡罗林出生时，号“卡罗林·庞森比阁下”，在他的父亲继承了爵位后，她改号“卡罗林女爵”。她小时体弱多病，为健康着想，大部分时间都在乡间渡过。但是，自1794年起，卡罗林迁入伦敦市内的德文郡楼（Devonshire House），与表亲哈廷顿勋爵（后为第六代德文郡公爵）、乔治娜·卡文迪许女爵和哈丽埃特·卡文迪许女爵，还有德文郡公爵和伊丽莎白·福斯特夫人两人的孩子一起生活。卡罗林和他们一起读书，和仅仅比她大三个月的乔治娜女爵特别亲近。