Schilling hadde giftet seg i 1782 i Fredericia med Cæsarine Elieonore Christine von Deden (1768—1841) med hvem han fikk 13 barn, hvorav de seks vokste opp. De første år av deres samliv bodde paret i København, fra 1784 i Nørregade 57. I Christiania bodde paret i Pipergården i Rådshusgaten 15. Schilling omtales av Conradine Dunker som en mann med stor æresfølelse og samtidig fri for forfengelighet. Han skal ha vært belest og fulgt med i verdens begivenheter, dertil hadde han anlegg for både tegning og maling, og malte både seg selv og sin kone.