Han var ugift og barnløs. I Bulls bygdebok beskrives han som «en original, meget sparsommelig og tunghørt. Han tjente en hel formue på gaardkjøp og høihandel, men testamenterte det hele til legater for øvre bygd.» Ved folketellingen i 1965 bodde han ikke i Klokkerstua, men hos brorsønnen Jon Olsen (1841-1902) på Søndre Høye. I 1873 solgte han Klokkerstua til brordattera Ingeborg Jonsdatter (1839-1909).