Кароліна Лукреція Гершель народилася в місті Ганновер 16 березня 1750 року. Вона була восьмою дитиною та четвертою дочкою Ісаака Гершеля, єврея самоучки-гобоїста, та його дружини Анни Ільзе Морітцен. Ісаак став капельмейстром в Ганноверській пішій гвардії, до якої він приєднався в 1731 році, і разом зі своїм полком був відсутній тривалими періодами. Він захворів після битви при Деттінгені (частина війни за австрійську спадщину) 1743 року та так і не одужав повністю. Він страждав від слабкого здоров'я, хронічного болю та астми до кінця життя. Софія, найстарша донька в сім'ї, була на шістнадцять років старшою за Кароліну і єдиною дівчиною, окрім неї, яка вижила. Вона вийшла заміж, коли Кароліні було п'ять, а це означало, що молодшій дівчині було доручено велику частину домашньої роботи. Кароліна, як і інші діти, отримала побіжну освіту, навчившись читати, писати та ще трохи різного. Батько намагався навчати дітей вдома, але його зусилля здебільшого мали більше успіху з синами.