Han led av en livsvarig lungetuberkulose, som også hans kone Berthe Marie Olsen (1818-75) døde av, såvel som deres fire barn, Henrik i 1868, Fredrikke i 1869, Alfhilde og Fanny i 1873 (Fanny ble i januar 1873 gift med Gerhard Armauer Hansen, det året han oppdaget Leprabasillen). Hans formue gikk til Bergens Museum og hans bildesamling til Bergens billedgalleri.