Knud Leem var sønn av Niels Leem som var sogneprest i Harams prestegjeld og kone Anne Bugge. Han ble gift med Sofia Ruberg i 1733.