Han fødtes på farens lyststed i St. Georgs menighet, en liten forstad til Hamborg, som sønn av grosserer og bürgercapitaine i Altona Jacob Friedrich Schilling (d. 1795) og Catharina Magdalena Møller (d. 1776). Faren nedstammet fra en gammel adelig familie, mens moren var en fattig slektning av farens første kone Catarina Rebecca Bautzen (d. 1759), som stadig var i live da Jacob Frederik ble født. Grunnen til at han ikke kom til verden i Schillinghuset i Altona, skyldes derfor formentlig at han ble født utenfor ekteskap.