Sigwardt var gift to ganger, første gang med Louise Catharine Juliane Hopstock (d. 1815). I 1822 giftet han seg igjen med Karine f. Næschill, enken etter sin forgjenger som stiftsprost i Christiania, Nicolai Lumholtz.