Etter giftemålet med Karen Pavels i 1813 bodde Hoelfeldt på hennes gård Østhassel på Lista, hvor han også hadde ansvaret for stesønnen Claus Pavels. Pavels gir bare en kort skildring av sin stefar i sin , men han bemerker at «jeg skal stedse velsigne det Øieblik, da denne Hædersmand blev min Fader».