Walnum hadde to sønner som ble prester. Hans eldste sønn Jørgen Olaus Hersleb Walnum ble ordinert i Herøy kirke i 1828 av biskop Mathias Bonsak Krogh, en av biskopens siste embetshandlinger. Jørgen ble gift med Christiane Holst, datter av sorenskriver og godseier Alexander Holst på Offersøy. Datteren Anne Cathrine ble gift med Isak Coldevin fra Dønnesgodset og datteren Hanna med Alexander Holts eldste sønn Hans som senere ble fogd i Salten.