Caroline Lucretia Herschel lahir di kota Hanover pada 16 Maret 1750. Dia adalah anak kedelapan dan putri keempat pasangan Isaac Herschel, seorang oboist berdaah Yahudi, dan istrinya, Anna Ilse Moritzen. Isaac menjadi bandmaster di Pengawal Berjalan Hanoverian, yang pertama kali ia bergabung pada 1731, dan keluar dengan resimennya untuk periode yang cukup lama. Dia menjadi sakit setelah Pertempuran Dettingen (bagian dari Perang Penerus Austria) pada tahun 1743 dan tidak pernah pulih sepenuhnya; ia menderita sakit kronis, dan asma selama sisa hidupnya. Putri yang tertua dari mereka, Sophia, berusia enam belas tahun lebih tua. Dia menikah ketika Caroline berusia lima tahun, yang berarti bahwa gadis yang lebih muda ditugasi dengan banyak pekerjaan rumah tangga yang membosankan. Caroline dan anak-anak lain menerima pendidikan sepintas, belajar membaca dan menulis. Ayahnya berusaha mendidiknya di rumah, tetapi upayanya sebagian besar berhasil jika dengan anak laki-laki.