Kjerulf var gift med Betzy Lasson (1791–1873) og far til komponisten Halfdan Kjerulf, maleren Hjalmar Kjerulf, geologen Theodor Kjerulf, embetsmannen Axel Kjerulf, samt Johan Sebastian Welhavens forlovede Ida Kjerulf.