Johan Arnold døde 5. juni 1709 på Borgestad gård. Malte portretter av ham og ektefellen Anne Clausdatter henger fortsatt på gården. Arnold ble gravlagt i et kapell ved Gjerpen kirke, oppført i 1699. Ved ombyggingen i 1871–72 ble kapellet nedrevet og likene begravet på kirkegården. Kistene ble siden hugget opp og brukt som gulvplanker, mens plater med innskrifter og våpen ble sendt til Riksarkivet, for siden å bli returnert til Telemark Museum.