Nicolay H. Knudtzon III var gift to ganger. Hans første kone døde i barsel i 1871. Samme året døde også sønnen Nicolay H., bare 16 år gammel. Året etter giftet han seg med Caroline Natalie Werring; dette ekteskapet var barnløst. I 1881 døde sønnen Harald, 23 år gammel. Nicolay bekostet da et orgel til Frei kirke til minne om sønnen.